您好 我之前在青岛一个贷款担保公司跟他们签了一个委托贷款协议 您好 我之前在青岛一个贷款担保公司跟他们签了一个委托贷款协议 交了一千块钱 后来我没让他们办 我自己在即墨这边自己找银行批下贷款来了 现在他们通过银行的关系从银行系统里查到了这笔贷款 他们打电话来说跟我要违约金或者是当初说好的服务手续费 两万元  要是我坚持不给他们钱他们说要到家里来闹 我该如何处理？