两年前我跟朋友合伙做一个工程交了5万押金然后他提出在拿20万 两年前我跟朋友合伙做一个工程交了5万押金然后他提出在拿20万出来然后因为我出了问题拿不出来然后他说因为我没拿出钱害他做不了那个工程还损失了20万要求我赔偿，并说我要是不同意就让我家里人不好过，因为我家才出事不久我爷爷奶受不了刺激就写下了20万欠条，今年年初还了他两万他要求用房产证做抵押不然就叫人去我家闹事就答应了他并改了欠条  今年因为生意出了问他又要求拿钱实在拿不出他已经委托追债公司我怕他们到家里闹事 我爷爷奶奶年龄太大身体也不好怕出事  当时做的工程是他经过别人的手拿下来的没有标书也没有合同 我跟他除了打了5万到他拿工程那个人的手里也没和他写过合同，请问如果我和他打官司不承认这笔钱可以吗