我出租房子乙方，约定合同期未到。由于乙方不爱护租的房屋，造成破损。故我不愿意在租给乙方了。现发生纠纷

我出租房子乙方，约定合同期未到。由于乙方不爱护租的房屋，造成破损。故我不愿意在租给乙方了。现发生纠纷，经协商乙方已搬出租的房子。但合同里约定违约金（如哪方违约应赔偿对方年租4倍的违约金），没有约定解除条款，问我还需支付违约金吗？