由于税费调整，二手房定金与中介费能够退还 我委托济南本地一个中介看了一套房子，并于房主签了购房协议，向房主交了10000元定金，同时向中介交了10000元中介费；但合同签完后，济南市调整了二手房买卖税费政策，不足5年的需要缴纳个人所得税按照房屋差额的20%；一下多出了5、6万元。我与家人商量后，考虑到房子本身的价格已经很高，实在是无力解决多出的钱，就想解除合同，但中介与房主以我们违约在先为由，并且还以让我们承担违约责任相威胁，让我们向房主写了解约书，不追究他们的责任，没有退还任何的费用。本想以不可抗力和平解决协议并赔偿给中介与房主一部分钱，但合同中没有免责条款。
在这里恳请有经验的律师给予指点，毕竟20000元自己一点点辛苦攒下来的：是否能让中介与房主退还缴纳的20000元钱，是申请仲裁还是法院诉讼。