二手房买卖发生纠纷 我们通过一个小中介购买了一套二手房，前几天中介通知银行贷款已经审核通过，于是第二天我们就去过户，并交了首付，而且各税费已经交完。但是办抵押因为当天没排到号，所以要等后面再办。此时中介要我们交余下的中介费，因为我们买房中产生了维修基金，先由我们垫付了，房东也承认出，但是我们不放心，就给中介说我们拿到这个钱再给中介费，中介就不高兴。说什么小心银行不给我们放款，不放款房东就要要回房产之类的话，接着我们就不欢而散。

请问这种情况该如何处理，责任归谁呢？