我在1998年买了本村张某的三间房子〈当时张某响应政府号召移 我在1998年买了本村张某的三间房子〈当时张某响应政府号召移民新疆等着用钱),房子当时是三千五佰元买的，当时协议上说地皮三年内有我使用，三年后若是我不在使用可将房子扒掉归我所有，地皮由张某的弟弟和侄子代管，三年内张某有权出三千伍佰元将房子赎回，将近过了三年的时候张某从新疆回来也没出钱赎回房子，就又另立了一份地皮以每年三十元钱出租给我的协议，事情已经过去十九年了他现在回来说地皮是他的，让我把房子扒掉他这样做合法吗？该如何解决