买房时交了定金，未签合同，以支付宝备注转账交款，但是不想要这套房了，打算在同一中介那里购入另一套房，

买房时交了定金，未签合同，以支付宝备注转账交款，但是不想要这套房了，打算在同一中介那里购入另一套房，中介给我写了一个条子，内容是，如第二套房购买成功，则不收第一套房的违约金。第二套房交了定金，打算过户了。但在正式办理过户时发现，第二套房中有户口无法迁出，于是第二套房购买失败。中介现在要求我付第一套房的定金。问题:我应该交这笔定金吗？房东要付交易失败的责任吗？中介要付第二套房交易失败的责任吗?现在的情况是，中介已经请了律师要起诉我，我该如何尽量保障我的权益?