我现在房屋置换，在自己的房子有买家后与看中的房子房主签了买卖合同 我现在房屋置换，在自己的房子有买家后与看中的房子房主签了买卖合同，过户日期写在了合同上，合同规定若过户日期延迟20天仍未过户，我需要赔偿房屋总价的20%。并当场给了5万定金。现在我的房子的买家出了问题不买我的房子了。我要重新找买家，这样我怕不能按期过户。请问我只支付了定金还未付首付的情况下，卖家能起诉我支付20%吗？谢谢！