合同约定我们按时腾房子。但是中介说把解除协议丢了。我该怎么办？有个买房子的，他领着中介过来跟我买房子

合同约定我们按时腾房子。但是中介说把解除协议丢了。我该怎么办？有个买房子的，他领着中介过来跟我买房子。因为我这个房子的房本正在办理所以当时签合同的时候买方先给了5万的定金。合同约定我们按时腾房子。腾房子的当日我们交房子钥匙对方就应该把剩余的房款给了我。但是当天晚上我给了他钥匙以后他说领他家里人先看看。我们就答应了。当时房子钥匙已经给了买方。但是第二天他们又反悔了说是没有房本他们就要签补充协议。后来大家谈不拢就解除协议。双方签了解除协议我们退了他4万定金。后来他又起诉我们让退剩下的1万的的定金。但是中介说把解除协议丢了。我这只有解除协议退他4万收条。我该怎么办？