你好 如果当时没有把你的宅基地证收缴上去  或者注销 你是可以在上面建房子的

关键要看2004年是怎么占用的，补偿的都是哪些项目，也就是说，地基现在还属不属于你家，属于你家的话，经建设部门同意，当然可以建房。