对方承诺退还房屋定金问题，又反悔 情况介绍：
1.我于11月上旬通过中介预定购买一套二手房，向卖方交纳了定金，合同约定12月31日首付付清并开始办理贷款手续。12月初我发现因资金及贷款问题无法按时履行合同，马上与卖方协商解除买卖合同并签定解除买卖合同的协议，允许卖方继续销售该房屋，协议上未提定金事宜（卖方不同意写），卖方口头承诺 “如果在年底前卖掉，且那个什么（没有明说），定金该退还退。”
2.现在该房屋已在年底售出。房主说由于对方到账晚，造成其损失，因此定金只同意退一小部分。
问题：
请问，定金如何处理？多谢！