我们家把土地承包出去了，也签的合同，是二十年，当时人家口头承诺了说要盖厂子 我们家把土地承包出去了，也签的合同，是二十年，当时人家口头承诺了说要盖厂子，让我老公在厂子里拉货，但是现在上面不让在土地里盖厂房，他们没实现这个承诺，我们不想租给他了，该怎么办