你好！别人想在我们建房子时留的滴水的地方当厕所用，之前找大队村委解决过 你好！别人想在我们建房子时留的滴水的地方当厕所用，之前找大队村委解决过，村主任也按照我们两家的意思拟写了一份协议，让我们签字，内容是我们的滴水他们可以暂时用来当厕所，等他母亲去世后，把此地归还给我们，我们这边签好字了，让他们签字时，他们不愿意签字了，现在他把我们当初放在滴水里的东西，全部给扔出来了，请问:我们该怎么办？