您好！我上个月下旬在中介的游说下与卖方签订了【房屋转让合同】 您好！我上个月下旬在中介的游说下与卖方签订了【房屋转让合同】，签署前我声明过，需要等明天确定了银行评估价是否可以贷款三成及向物业核实所买房屋是否拥有固定停车位置后再支付订金，中介之前跟我说，卖方大老远赶过来一趟不容易，让我们先签署协议，如明天核实了还不想买，可以不支付订金，那样合同也就不生效而且说买卖双方的合同全部存放在中介不会给任何一方，鉴于是熟悉的中介（之前帮我们租过房子），所以便相信他的话了！第二天我们核实，因为成交价远高于市场价，银行评估最宽也需要四成首付，而且经过与管理处确认，现在小区停车位已非常饱满，根本就没办法申请固定车位，所以我当天便告知中介，不想再购买这套房子啦！ 中介听后便说如这样的话，业主会起诉控告我的；昨天家里收到业主给我们发了一封律师函：督促我们继续履行合同，否则将正式起诉我们并且需要按合同款的20%赔偿。

请问这样的话我接着需要怎么去解决问题？麻烦大家帮忙想想办法！