土地纠纷问题！ 我爸他们有4兄弟，在我爷爷在世的时候有个做房子的示意图，都分好了每个兄弟的房屋位置，但房子没做完整，现在我们家想盖房子，还是按照图纸的位置，但想占用20个平米的公用土地，他其中的一个兄弟不肯，说做就拆，做被告也无所谓，还说可以去炸他的楼。那20个平米的土地是每个兄弟的房子对应的一点地，按图纸是他们每个兄弟都各有20个平米的，我想问：我如果做房子，他真拆他有没构成犯罪，我是不是只能不做那20个平米？