我爷爷1983向村委会申请宅基地建房当时也建了一间房子现在剩个院子.这几十年都是我们家在用这个院子，

我爷爷1983向村委会申请宅基地建房当时也建了一间房子现在剩个院子.这几十年都是我们家在用这个院子，去年我们通过了报建手续，准备今年盖房子，但有村名在争议说这块地是他们祖辈的。现在不让我们盖房子，村委会的工作人员也来说不让我们盖房子，还说双方协商不成村委会就开会废掉我们报建下来的手续请问律师村委会有那么大权利吗？还有当时我爷爷向村委会申请的地那张申请书我们也有在手里，请问律师现在我们能按时去开工盖房子吗？乡村建设规划许可证我们已经办下来的。请问其他村民这样来争议我们该做什么？