双方矛盾，房子不租了！然后房主之前收的定金不愿意退。 我们是周六看的房子，当时还是满意的。双方商量好先交1000员也不知道是什么“定金”（只有一张收据，没有写明是“定金”还是“订金”）。当时拿了中介一个人的身份证。押金一共说是3000元，其他的2000说好周一来交清然后签合同。周日的时候，房东打来电话说要全部一起交5000元才租给我们，要么就不租了。后来又说自己缺钱，要我们一定要交满5000。最后我们跟房主说来说去矛盾就激化了。本来说好退之前的1000元，我们把条子还给他。后来又让我们必须租，要不就不退钱。因为中介有一个人身份证押在我们这里，中介一气之下就说不管了！现在跟房主矛盾激化，我们也不能再租房子。他们又不肯退钱给我们，我们该怎么办？