我家的房子建好四年多，跟隔壁的人换的地建的，当时没签什么协议的，然后当时建房子少了几颗树，本人跟他说

我家的房子建好四年多，跟隔壁的人换的地建的，当时没签什么协议的，然后当时建房子少了几颗树，本人跟他说了，他说你自己搬是滴！后来是工人去搬的搬了七颗，后来本人还了三颗，但是没告诉他，以为只借了三颗～现在他要把地收回去，要我们还他的树，每年都说还他的树，还钱也可以，去买也可以，但是他就是非要要他原来的树，现在他又把我家围墙打倒，菜地的菜也被打死，这个派出所来了，没有解决得了，不知道法律方面有没有好的解决方法吗？