我2015年年初买的二手毛坯房，我装修的住了快3年了。买房时是和中间人签的卖房协议 我2015年年初买的二手毛坯房，我装修的住了快3年了。买房时是和中间人签的卖房协议，买房时中间人说房主少他钱，房子抵给他的，对我说什么时候过户都可以，当时我对这些也不懂，所以就买了，之后每月还房贷。17年10月中旬我从外地回来，月底中间人打电话给我催我过户，我借够了银行解押钱后他又打电话说不给我过户了，把当初买房付给他的钱和还货款钱退给我，一切都清了。情况就是这样，我想知道我应该怎么做呢