我家地租给人家五年，现在两年整了，不想租给人家了，合同上写明违约金1000元 我家地租给人家五年，现在两年整了，不想租给人家了，合同上写明违约金1000元，我们给过了，他现在要我们给他赔偿钱，说还有三年的地没种，他说他种我家地一年可以收两万块钱，现在要我们赔给他剩下三年六万块钱。可有这样的事，就是耍无赖，我们应该怎么讲。