我把房子委托给中介出租，租期一年，他们私自打了很多隔断结果被执法大队强制拆除 我把房子委托给中介出租，租期一年，他们私自打了很多隔断结果被执法大队强制拆除，现在要求我降租金或者终止合同并赔偿他们的损失（租金和打隔断等费用），我没有同意他们的无理要求。他们的租金交了半年的，天天打电话威胁可以不按他们的条件终止合同，半年后我也别想顺利收回房子。合同中我是同意了打隔断的，因为当时次卧和客厅是打通的，但是他们实际隔断数量是远远高于合同中指定的数量。请问针对这种情况我应该怎么处理?是现在采取措施好还是等到下一个交租日处理好?