你好，我委托中介卖房，协议是一个月内如果没有买家，中介一次性支付30万元，如果找到买家，已达到要求，

你好，我委托中介卖房，协议是一个月内如果没有买家，中介一次性支付30万元，如果找到买家，已达到要求，但是委托人不能履行委托书，则赔偿违约金2万元，但是现在由于家庭情况不想卖了，我们也同意赔偿2万元和退回首付款，但是中介要求我赔偿双倍定金，可是微信里中介只说了给的钱是首付款，没有说定金，但是今天早上找中介，中介说我们收了定金，当时我也记不清我们自己说没说定金两个字，怕万一说了，他录音了。我们没有和买方和中介签署任何除了委托书以外的合同，而且中介不允许我们见买方，也不给电话。那现在我们需要赔偿双倍定金吗？现在我房本还在中介那边，如果我同意赔偿违约金和退回定金，那我要怎么弄？