我去年三月交了买房定金，说六月写合同到现在他说和银行协谈不下 我去年三月交了买房定金，说六月写合同到现在他说和银行协谈不下，叫我退房还是付全款，如退房就叫我先交协义书保留发票，在三十个工作曰之内退还所交房款，请问一下万一我交了协义书他不退钱怎么办