我有一栋房子出租给了何某，跟其签了三年合同，一年付一次租金，每年12月底需付清下一年租金 我有一栋房子出租给了何某，跟其签了三年合同，一年付一次租金，每年12月底需付清下一年租金，如逾期不付清租金有权收回房子并终止合同且押金不予退还。到2014年12月31日已有两年，还有一年未到期，但何某并未告知不租房子，而是到了2015年元月才告知不租房子，并不交纳本年租金，在其租房期间损坏的房屋及室內物体也没有修复，钥匙也不交出，却要求退回他的押金，不退押金就威胁说要损坏房中的物品并不让我们把房屋租给他人。请问何某这样算不算违约，他还加以威胁，我该怎么办？