我的名誉侵权如何解决 尊敬的律师：我1995年经办的一个客户贷款，借款人当时是准备承包县国营矿泉水公司，该业务经一个朋友介绍，贷款以房产证作为抵押，我与借款人不熟。但17年后，借款人老了现在77岁了，贷款也没归还，当然抵押的房产证也在银行。借款人就编造各种理由多次到上级行告状，并且到我办公室无理取闹：说我给他贷款是害了他，还说他当时不想贷款，是我逼他贷款；现在又说我当时是想和他合伙承包，反正每次上访都有一个不同理由，没有任何证据。其目的是想把他抵押的房产证还给他。由于他的上访给我造成了一定影响，我如何处置？我要起诉告他吗？（我现在已收集了他1999年给我们单位的信，该信对我支持他表示感谢，有他的承包合同、执照、借据，贷款介绍人的证言等）