依法成立的合同受法律保护，如果双方约定了违约条款，双方就应当遵照执行。未约定违约条款的，如果一方给另一方造成了实际损失，也是应当承担违约责任的。
村委会让你赔偿他们二万元的依据是什么，建议你们协商处理，如果处理不成，可以通过诉讼途径解决纠纷。
总之，建议你与对方协商处理，如果协商不成，就让对方去起诉吧。法院会依法作出公正裁判。