看乙方是否有违约行为
如果严重违约
可以提起解除租赁合同

看你们之间的协议是如何签订的，如果乙方存在违约可以不租给他；如果你终止合同 你违约 那么要承担违约责任。

一看对方有无违约，如有违约情况你可单方终止合同；
二是如果对方无违约情况，而你确实不想出租，你可解除合同，并承担违约金。
不详事宜，可来电咨询。