原先租一楼门面房用来做冷库，暂定五年合同规定甲乙双方在合同期间任意一方无故终止合约应付违约金5000

原先租一楼门面房用来做冷库，暂定五年合同规定甲乙双方在合同期间任意一方无故终止合约应付违约金5000元整，且甲方需配合乙方和邻居间产生的矛盾，现因冷库噪音大，楼上住户多次反应噪音大晚上无法入睡，甲方前几次配合我们去和楼上住户调节后来便不在配合甚至打电话不接，换手机号码后来多方打听才找到新的号码，但仍然不配合我们与楼上住户解决问题，也因区环保局谈话要求我们夜间不可开机，但冷库必须要开无法关闭所以我们半年前决定不在租用甲方的门面房，甲方也口头答应，现乙方用合同未到期让我们支付违约金，原因以我们与楼上因噪音产生矛盾为由不在租用房屋，告我们，请问他们的理由成立吗？我们应该用什么理由反驳他们？