我与房屋出租方签订房屋租赁合同，合同又约定了允许我对承租面积进行改建扩建 我与房屋出租方签订房屋租赁合同，合同又约定了允许我对承租面积进行改建扩建，由于改建扩建后的建筑物占用了邻里单位的土地使用权地块，经出租方与邻里单位确认占用面积后，出租方委托我作为全权代表出面协商，经努力，我代表出租方与邻里单位达成赔偿协议但出租方没有签字盖章，出租方认为我达成的赔偿条件过高，拒绝支付赔偿款。现邻里单位说我违约要求我拆除占用地块上的建筑物恢复原貌，并按约支付赔偿金。请教律师现在我该怎么维权呢？