如果赠与时没有附条件就无法要回了。

你好，是赠与的话就很难要了。

    当事人请求返还按照习俗给付的彩礼的，如果查明属于以下情形，人民法院应当予以支持：
　　（一）双方未办理结婚登记手续的；
　　（二）双方办理结婚登记手续但确未共同生活的；
　　（三）婚前给付并导致给付人生活困难的。
     如果给女方买房子的钱认定为彩礼，就可以根据法律规定要求返还。