因为有所谓的社会青年给我的烦恼 事情是这样的,我和之前的女朋友分手之后,我问前女友拿回自己之前借给她的钱,但是她告诉她的姐姐,她姐姐的男朋友打了电话给XXX,中间发生了口交,前女友的姐姐男朋友说我是XXX的(手下,但是我真的不是XXX的手下),然后那个XXX过来找我要钱,我不想给他,我该怎么解决?