本人买房，贷款。于今年8月份签的合同，定金5万，首付30都交于房先生中介处管理，打到的是私人账户，没

本人买房，贷款。于今年8月份签的合同，定金5万，首付30都交于房先生中介处管理，打到的是私人账户，没有进行资金监管的（因为当时不懂），后来经过协商之后，写了协议，在八个工作日中介返回25万首付款。协议上有公司印章和说我们钱那个人的手印，到期日还没有打给我们。中介各种理由不给。目前房产证已经到我们手里，贷款到账到房主手里，现在导致我们拿出去所有房款，但是房主不交钥匙。房主不交钥匙是因为中介没把首付款给他，现在中介说这笔钱年前打不到房主那里。房主现在不接电话，不给钥匙。我们下个月就要还贷款了。所有钱拿出去了，但是住不进去自己房子里面。这种情况我们需要起诉中介吗？如果我们强行收回房子换锁可行吗？