卖房纠纷 我家房说要卖，中间人找了个买家，当时家中只有母亲一个人，中间人让买房人拿了2万块钱，我母亲拒绝收，不让他去拿钱，后来中间人硬让他拿钱来并且中间人点钱，收钱，也没钱任何关于买卖房子的合同，后来我父亲回来了，中间人要求立个收据，我父亲写收据写到一半中间人拿过去写完了，当时说好我们买新房装修好房子就给他，他也同意了，可是还没过一个月他就经常到家去要房，并且在外说了我家很多，还说房子如果不卖他就得给他4万，他硬拿2万来，不到一个月就说不卖他要4万，我母亲实在受不了他在外面的话了，就把2万块送给了中间人，中间人拒绝收，买房者声称房子必须卖给他，不卖不行。怎么办