我是卖房子的房主，因为通过中介公司签订买卖合同，中介公司收了我的中介费 我是卖房子的房主，因为通过中介公司签订买卖合同，中介公司收了我的中介费，现在买房人不要了，要我返还他的定金，中介公司收了我的钱不肯退。说客户原因买房不成功和他们无关，客户天天吵着我要退定金。我该怎么办？我的损失谁来赔偿？