和一个男的在一起三四年，他是有家庭的，给我花了十万左右的钱，也不是一次性给的，有时候几百，有时候几千

和一个男的在一起三四年，他是有家庭的，给我花了十万左右的钱，也不是一次性给的，有时候几百，有时候几千，我想彻底分开，现在我重谈了一个对象的，准备要结婚了，他老是威胁我家人，他老来我们双方的家里找麻烦，骚扰威胁他们，如果我不还这个钱，就告我诈骗他钱财的罪名，可这钱是他自愿给的啊，就算找个小姐也是要给钱的吧，浪费了我几年青春，难道我还有错了，现在他要告我，我又没有证据，该怎么办，这个罪名成立吗？我要负责吗