不需要退还

不用退。
当事人请求返还按照习俗给付的彩礼的，如果查明属于以下情形，人民法院应当予以支持：
　　（一）双方未办理结婚登记手续的；
　　（二）双方办理结婚登记手续但确未共同生活的；
　　（三）婚前给付并导致给付人生活困难的。
　　适用前款第（二）、（三）项的规定，应当以双方离婚为条件

因为你结婚时间不长，且彩礼数额不小，现在要求离婚，应当适当予以退还，至于2万元借款，是你们双方的债务，你们二人应当共同承担

1、已登记并共同生活的，离婚时不必退彩礼。
2、婚后取得的财产、发生的债务一般为共同债务，故婚后从娘家借款，离婚时应平分。