今年5月底在中介门店签协议时，中介方工作人员口头承诺（当时至 今年5月底在中介门店签协议时，中介方工作人员口头承诺（当时至少有三个中介工作人员在场）办理过户时付清全部房款，但协议上相关条款规定的内容却不一致，当时没有仔细看条款。
随后陪同买方去银行做面签---交易房产解押、挂牌等手续，整个过程还算顺利，差不多一个多月的时间办完，最后进行到过户程序的时候，才知道过户当天无法收到全部房款，因此我拒绝办理过户手续，但中介方以我违约索要中介费、违约金及房屋差价等款项为要挟，要求按照先过户并办理完抵押手续后银行付清尾款的程序来继续房产交易，并且每天打电话骚扰，请问这情况该如何应对？