如果男女双方有一方退婚，女方应该在婚约解除后将彩礼退还给男方，司法解释规定，有以下情形之一的，女方需要退彩礼：双方还没有办理结婚登记；双方办理了结婚登记但没有一起生活的；给彩礼的一方因为给付彩礼而生活困难的。
《最高人民法院关于适用〈中华人民共和国民法典〉婚姻家庭编的解释（一）》
第五条
当事人请求返还按照习俗给付的彩礼的，如果查明属于以下情形，人民法院应当予以支持：
（一）双方未办理结婚登记手续的；
（二）双方办理结婚登记手续但确未共同生活的；
（三）婚前给付并导致给付人生活困难的。
适用前款第二项、第三项的规定，应当以双方离婚为条件。