与外国人交易二手房遇到问题 情况说明：卖方是美国人，其有中国合法妻子。是富和名都该房产的所有人；其房产尚未出证（预计年底前）；银行按揭购买。
我作为卖方已经向其支付定金5万元；现今卖方已经在抵押银行办完 注销抵押 的赎楼手续；按照合同规定买方应该于卖方完成
注销抵押申请10个工作日内支付20万首期款（有买卖双方，居间方）一起去抵押银行完成该房产剩余贷款支付。但由于卖方不在
国内，其委托中国朋友（有份未经公证的中文版授权书）代理其本人收我的首期款；因其授权委托书没有经过公证我今天拒绝
支付首付款。我要求其将委托授权书进行公证或是其本人前来办理。从时间上来讲今天已经超过10天了，而且卖方的委托人和中间相继致电给我说我们今天要去交这笔房款，不然算我们违约。卖方可以终止买卖而且之前所交5万押金没得退还。

请问：谁才是违约方，我应该怎么处理？