1、是否可以收回，要看合同有无约定在支付违约金的情况下，可以解除或终止租赁合同；
2、建议先和承包人协商，如你方一定要收回，可以考虑适当对承包人作出补偿。

法条参考：
《合同法》
第九十四条　有下列情形之一的，当事人可以解除合同：

　　（一）因不可抗力致使不能实现合同目的；

　　（二）在履行期限届满之前，当事人一方明确表示或者以自己的行为表明不履行主要债务；

　　（三）当事人一方迟延履行主要债务，经催告后在合理期限内仍未履行；

　　（四）当事人一方迟延履行债务或者有其他违约行为致使不能实现合同目的；

　　（五）法律规定的其他情形。


第一百零七条　当事人一方不履行合同义务或者履行合同义务不符合约定的，应当承担继续履行、采取补救措施或者赔偿损失等违约责任。

　　第一百零八条　当事人一方明确表示或者以自己的行为表明不履行合同义务的，对方可以在履行期限届满之前要求其承担违约责任。