二手房买卖，中介三方合同比实际面积小超过3%,请问怎么办 事情是这样的，在2010年12底左右，从中介那看到一个二手房，联系房主签订了中介三方合同。当时房屋两证都没有出来（现在才知道没两证是不能买卖的，中介知道也没提醒），合同的房屋面积是87.29平方，当时也没想过去测量实际面积也没怀疑过。共同约定在两证下来后去过户。我们交了20万的首付，并在征得房主同意后把房子装修并住到现在。
    在2012年6月左右房主通知说两证下来，可以去办过户。不凑巧的是刚好碰到我老婆怀孕，双方商量同意推迟到小孩出生。在2013年1月份，我们和户主约定准备去过户。在房产交易中心的时候发现两证上面的面积只有83.29平方，实际差了4平方。
    这个我们肯定是不乐意了，中介却当我们什么都不懂，就说这个是我们跟户主之间的事情，不关他什么事，让我们自行协调。户主当时的意思也是不同意退差价。
    于是就没过户就回来，后来中介打电话过来说房主同意退定金20万。我们肯定不愿意，现在同样的价格我现在哪里去买房子去，而且期间我们的装修和中介费用什么的我们损失不起。
    我们现在的要求就是退差价。请教各位我应该怎么办！
    其中中介和房主应该负什么样的责任~求助求助