请帮忙分析合同情况，谢谢 律师您好，我前几天因为要租房和房东交了定金，原文如下

收条
今天收到XX交来500（大写伍佰元整）定金，房屋位于XXXXXXXXX，定于6月27日下午一点签订合同


结果第二天房东不想租给我们了，并说，房主是她先生，不是她，只愿意还给定金，但是不愿意支付违约金。我说如果我们不租了，这500就是你的，但是你不租了，也应该给同等金额违约金，否则我不会还收条。但是她们拒不支付并且在中介公司扔下500块就走了。、

请问这事现在应该怎么处理：
我有权要回我的500违约金吗？
如果我一直拿着收条会不会有什么问题？

谢谢您