白事随礼钱被对方退回在中国文化中确实被认为是不吉利的。因为礼金被视为对逝者的哀悼和对丧家的慰问，退还礼金可能意味着逝者的后人并不真心感激亲友们的到来，这在传统观念中是不吉利的。

　　除了礼金不能退还外，白事随礼还有一些其他的禁忌和礼仪需要注意。例如，随礼的金额最好为单数，避免使用双数，因为葬礼上通常不希望成双成对，以免给人以诅咒的印象。另外，参加葬礼时携带的现金应使人民币的人物头像朝向外部，这既显示出尊重，也有利于葬礼风水。如果丧家试图退回礼物或礼金，应婉拒并表达感激之情。

　　总的来说，白事随礼的禁忌和礼仪反映了中国文化中对逝者的尊重和对生者的关怀。在遵循这些传统习俗的同时，也应尊重个人信仰和文化差异，以体现对逝者和丧家的真正关怀和尊重。