可以以他违约为由 发函解除合同 并且要求赔偿损失

如果那块地的使用权也是你的，你可以书面催告对方搬离，如果限期没有搬离的，你可以书面告知对方解除租赁合同。
当然，这么做不代表你占主动，如果你要求对方退租金，难度还是很大的。因为对方的行为不会导致租赁合同根本不能履行，不至于要解除合同，但是你解除了合同，所以最终承担责任的还是你。