收回私人土地 父亲生前建了两间半独立房子，当时隔壁住家的厨房已是建过我家厨房10尺x7尺。父亲逝世后由我和弟弟平分土地及屋子。因此对方屋子2/3的地也是我的。土地测量师早已量过地了，而且地契也拿到手了。
在这10年期间，我都没有向他收租金，而且当时只是口上叫第三者转述，当我们有需要时，土地需无条件归还。但是当时传话的人，现在切不愿作证，还阻止我拿回地。
由于现在我要装修，需要拿回有关地段。我已经叫人转告他要拿回建过我屋形的地，但他静静不作声。
请问我可以直接敲掉那道墙吗？墙后是一间厕所和冲凉房。还有我需要赔偿吗？或者需要什么法律上的程序，免得为我带来麻烦。

希望能尽快得到你们的回复，谢谢