您好，我2006年跟我现在隔壁的邻居买了一套二手房，当时是签完合同后一次性付款 ，但是去年卖房给我的

您好，我2006年跟我现在隔壁的邻居买了一套二手房，当时是签完合同后一次性付款 ，但是去年卖房给我的人找我说他的隔壁的一套房子由于当初装修时为了房屋看上去没有拐角而进行了私自改建，把此住房的一个墙角给切除了，并到了我买的房子里去了，当时卖给我时忘记了，现在他不能卖掉那套隔壁的房子，他找我让我把这个角归还给他，我一直都没理他，他后来还到法院去进行诉讼了，他的诉求是让我把房屋恢复原样，后来我也请了律师，开了两次庭，法官进行了调解，但是对方就是不愿意出补偿，最后法庭给了判决书，说根据物权法这块地是对方的，这个无法改变，但房子房子是当初对方改造的，让我配合对方恢复房屋原状，我拒绝执行有什么后果吗？