我的名誉侵权如何解决 1994年底，有一借款人与他人合伙承包县矿泉水公司，并签订意向合同，后由于合伙人资金未到位没有继续运作，这时，借款人利用机会四处活动，得到当地政府的认可，但必须筹到应有的资金，借款人就求我朋友的母亲帮忙，我朋友在母亲的要求下，找到我叫我帮忙，我看在朋友的面子上答应了，但我对借款人不熟悉，对其资产状况不了解，我委托房管局评估所到现场对借款人的房地产进行评估，评估价5万元左右，我以借款人房地产作为抵押（当时当地未实行登记制，借款人只将房产证作了抵押）给其贷款。后听说矿泉水公司未给借款人承包后将借款人交付的4万元保证金退还给了他，但借款人未将其用于归还贷款，而是与他人合伙做木材贩运，在广东韶关因手续不全被扣。1999年，我到借款人家催收贷款，借款人给了我一封给我单位的信，讲政府不讲信誉，毁了他，并说他正在告政府有关人员的状，在上访搞政府有关人员。至此，我和借款人前后只见过3次面，再未见面。
   17年后的今天，借款人见告不倒政府人员，就把其怨气发到我身上，特别是近几年，他连续两次到北京上访，编造不同的理由告我，其目的就是要回抵押在农行的房产证。他编造的理由是：我和他有过合伙协议或者承诺过给他更多的贷款、逼他贷款，还说我给他贷款是害了他等，到目前为止，他几次对我的诬告都没证据。他为了达到其目的，用人身安全来恐吓我，说要和我同归于尽，还说不是我先死就是他先死，并对我的家庭进行调查，到我办公室去大闹。已对我的名誉造成恶劣影响，影响到了我的家庭和我的人身安全，律师同志，我该怎么办？是去法院告他吗？
注：对借款人现在情况作为当时的经办人，我可以理解，毕竟他已老了（77岁），知道自己没几天了，没给家庭和子孙后代留下一点资产，还欠一身债，能不急吗？但他多次损害我的名誉并以对我的人身安全相威胁，以自己的生命来恐吓，这样长久下去如何办？