您好我买了一处棚改房子，此房东西对门两户，都是一个单元楼层，签署了买卖协议购买的是1号屋 您好我买了一处棚改房子，此房东西对门两户，都是一个单元楼层，签署了买卖协议购买的是1号屋，合同签署的也是1号屋，但是后期房主又找我协商让我要2.号屋，然后我们口头协议了一下我就同意了，但是后来我的家人不同意我更换，我现在想换回1号屋，但是卖主不同意了，说如果想换回来必须＋1万块钱。我们的购买协议上还是1号房屋，我现在该怎么办呢