我有一套房交了三年贷款后来因无力偿还，现在两年没交贷款了，托中介找了一客户 我有一套房交了三年贷款后来因无力偿还，现在两年没交贷款了，托中介找了一客户，彼此三方都签了房屋买卖合同，并且对方交了五万定金在中介托管，现在中介要我递交一份银行征信报告，之后说我因为两年未还贷不是良好征信，要和我解约，五万定金退还给买主。中介说合同里写了一句:待甲方把全委公证办到丙方指定人名下并出示良好的征信报告。但是现在我的不良征信报告不会影响我房子出售，那么对方现在总以征信报告不良为由不要我房子了这样做是不是属于违约。请问定金到底归谁呢？