在男方性无能的情况下，是否需要退回彩礼需要结合具体情况来判断，以下从法律依据和不同情形为你分析：

    法律依据

   根据最高人民法院关于适用《中华人民共和国民法典》婚姻家庭编的解释（一）第五条规定，当事人请求返还按照习俗给付的彩礼的，如果查明属于以下情形，人民法院应当予以支持：

   - 双方未办理结婚登记手续；

   - 双方办理结婚登记手续但确未共同生活；

   - 婚前给付并导致给付人生活困难。

   适用前款第二项、第三项的规定，应当以双方离婚为条件。

    不同情形分析

    双方未办理结婚登记手续

   如果男女双方只是订婚，并未办理结婚登记，即便共同生活过，考虑到男方性无能这一特殊情况，可能影响到双方缔结婚姻的目的，法院可能会综合双方共同生活时间长短、彩礼使用情况等因素，判决女方适当返还部分彩礼。

    双方办理结婚登记手续但确未共同生活

   这种情况下，无论男方是否存在性无能问题，根据法律规定，在离婚时男方请求返还彩礼，通常会得到法院支持。而男方性无能可能会成为双方未共同生活的一个重要原因，更能为男方主张返还彩礼提供合理依据。

    双方办理结婚登记且共同生活

   在双方已经结婚且共同生活的情况下，一般彩礼是不予返还的。但如果男方性无能导致夫妻感情破裂最终离婚，同时男方因给付彩礼导致生活困难，那么男方请求返还彩礼可能会得到法院的部分支持。这里“生活困难”是指依靠个人财产和离婚时分得的财产无法维持当地基本生活水平。法院会根据实际情况，如结婚时间长短、彩礼数额、双方经济状况等，酌情确定返还的比例。