关于家庭亲戚房产问题 我爷爷和奶奶生了兄弟4个，现在三个兄弟都在村里结婚生子，爷爷给他们娶媳妇生孩子都另外盖了房子。我爸爸特殊一些，自己出来城市当兵工作，没在村里，虽然我爷爷给我爸娶媳妇盖了一套，但由于我们不在当地，房子空着，我爷爷他们就一直住在这个给我爸爸的房子里，但房子名字当年没改，写着是爷爷的名字。以前这是传统，娶媳妇都盖房，没有这种法律问题。
现在爷爷去世了，家里那几个兄弟都觉得我们常年在外，房子用不到，一直让他们占着。并且现在觉得这房子当年是他们出力盖的，有他们一份。老大家的儿子现在一直占着这个房子，并且想改建，但我们家没同意，他们觉得这房子是当年爷爷的，属于共同财产。
我想问下，这种情况怎么样能确认房产权归属？如果我们自己把这房子推倒重建，房产能清晰显示属于我们的么？