我家乡下住了几十年的老家旧屋拆了想重新起新的楼房，但现在有人有人跳出来说是他们之前给我家一些地方起的

我家乡下住了几十年的老家旧屋拆了想重新起新的楼房，但现在有人有人跳出来说是他们之前给我家一些地方起的房屋，现在要我们还回去给他们，以前的社会都是没有土地证明什么的，也没有任何的证明，他们就是说以前是他们几十年种菜牛舍什么的地方，说是给我爷爷那一辈起房屋的，我想询问一下这样有道理吗？我该怎么办呢？现在要起房子他们拦着，甚至把四五十年的社会土地分配说事，他们说法有法律支持吗？他们退求其次的要求还一半给他们，合理吗？我家以前旧舍都有200平米，按他们要求就是要归还100平米。我该去找哪方面部门申诉和证明呢？