债务纠纷 我之前拿我的惠农卡给别人在农业银行贷了五万块钱，他找了一个在公安局上班的公务员担保，由于当时大家关系好，就没有写下字据，现在还款期限到了，他无力偿还，我也经济困难，现在银行要求续贷，而且他想把他之前的担保人更改为他母亲，（他母亲不是公务员，只是一个公立幼儿园的临时工）我现在不想再给他续贷了，但是他现在说不续贷的话这个事他就不管了  请问我现在该怎么办