签了居间协议，买家付了十万定金，卖家因为自己需要居住不卖了，就违约了。卖家上门和买家表示歉意并且愿意 签了居间协议，买家付了十万定金，卖家因为自己需要居住不卖了，就违约了。卖家上门和买家表示歉意并且愿意赔偿双倍定金20万再加三万现金（其中注明五千元买家需要向中介取回产证还给卖家，取不回就归还五千元），并且签了解除居间合同协议。之后买家反悔，因为居间协议是儿子买房，解除居间协议是老子代替儿子签的，现在23万也没归还，该怎么办