我爷爷奶奶几年前过世，留下一房子给兄弟四人，当时没有去办理遗产公证 我爷爷奶奶几年前过世，留下一房子给兄弟四人，当时没有去办理遗产公证。后来过了一两年，我爸再婚，女方有儿子判给前夫。最近爷爷奶奶留下的房子因修水库需要搬迁，也赔偿了，兄弟四人去公证了房子由我爸于小叔继承，并分配了赔偿金。之后我爸用这笔钱全额买了房子，写了他们夫妻两人的名字。赔偿有一部分是按人分，所以把后妈的户口上到我们那去了。请问那房子是谁的，以后离婚或者一方死亡怎么算？