今年7月底通过中介签购了一套二手房，定于8.10号为双方办理过户手续 今年7月底通过中介签购了一套二手房，定于8.10号为双方办理过户手续，结果等到9月初卖方还在解押中，可能还需要等段时间，我们现在不想要房子了，因为拖延时间太久了，现在想拿回一万的定金，中介告诉我们说我们是违约方，定金不退，而且卖方还要追究我们的违约责任！请问，我们该怎么办？