与签订了购房合同，暂未备案，未贷款。现在我不想买房了，可否退回贷款抵押金？ 买的是二手房，中介与银行有关系可做零首付。前期交给他3.5万元，跟我说交1.5万元更名备案等手续费，2万元的贷款抵押金。等贷款办下来后返还我这2万元。3周内可以做好备案。
但是我签订合同一周后，我又不想买房了。这时还没有备案的消息，与中介沟通。中介说让我卖给别人，卖不出去的话就1分钱不给我退。

我想请问一下，像我这种情况应该怎么办？我个人觉得既然备案未完成，贷款应该还没有开始办，虽然这事是我违约，但中介是否应该给我退回一部分钱？如果是的话，应该给我退多少钱？如果中介这边不肯给我退，我该怎么维权？