因之前对方在我家不知情之下把我家一块土地换给别人，自己去盖房 因之前对方在我家不知情之下把我家一块土地换给别人，自己去盖房，现经村部和村公证人的协调下，写下协议书并双方都签名按手印了。协议为双方有一处共同旧平房是一人一半，但客厅顶是共同石板盖，没有中间墙，在我方要拆掉重建时要无条让我拆客厅共同屋顶板，重建时共墙，共墙费用双平分，现我要重建对方还用各种条件和理由时时不搬出客厅物件，使得我无法拆，这如何处理。（对房屋已无住人，只放些旧物件