房屋买卖合同的解除 2013年12月24日，我通过中介看了一套营业房，当时和中介还有卖方签订了房屋买卖合同，并交给了中介2万元定金，随后，我经过一番考察，觉得这套房子不适合经营，并想退掉此房，卖主要求我赔偿违约金5000元，我答应了他的要求，并和卖主去了中介解除了合同，中介也把2万元现金退给了我，然后中介把我们双方的合同都收走了，让我打了2万元的收条，让我们双方都签了终止合同的协议，随后我给了卖主5000元的违约金，但是我想请问，中介只把钱退给了我，我什么手续都没有，而且合同也被收走了，我担心中介日后会不会起诉我要求我赔偿违约金，当时签合同的房屋总价是112万，违约金是按天支付，每日500，我这样处理妥当吗？我当心中介和卖主会联合起诉我，会有这种可能吗？我现在该怎么办？请各位律师帮帮忙，给些合理的建议