我在甘肃省，我通过中介买房子的过程中出现了这样的问题：我与房主签订合同如下：房价40万 我在甘肃省，我通过中介买房子的过程中出现了这样的问题：我与房主签订合同如下：房价40万，5月15日前，我付款20万到中介，中介联系房主办理过户手续，剩余房款两年内付清！
实际上我在14日前已经给中介打款15万，另外5万准备因故要16日凑齐，中介15日通知我，房主因我付款慢不卖给我了，16日中介通知我不用再付款，房主已经将房子卖了！
我要求中介退款，中介说要扣除中介费5000元。我不同意，中介就不退钱给我！我该怎么办？