租赁合同问题 我和对方签订了5年的租赁合同，我是承租人，规定1年一次性付款4万元，经过协商，我给对方2万，等年底剩下2万再还清，并打了欠条，但是不到年底的时候由于出租人要在所租的地方建房，导致我又搬到别的地方，当时并没有就违约责任赔偿，事情就过去了，但是那两万我也没有再还，这事过了1年多吧，对方要求返还2万元，并且还让黑社会威胁催要，我想问，我该不该还这2万元，毕竟对方违约在先，我应该采取什么措施，希望您能帮我下 谢谢