我爸爸从小因为各种原因寄养在了三叔公家里，大概从5岁被抚养到了成人，养育期间也是受尽了各种不平和冷眼

我爸爸从小因为各种原因寄养在了三叔公家里，大概从5岁被抚养到了成人，养育期间也是受尽了各种不平和冷眼，但抚养是事实，我们全家还是很感恩。在这个抚养过程中，我爸还是未成年人期间，三叔公和其他亲人将我爷爷留给我爸的地皮他们自己分割为几份占为己有，而我爸当时还小，也没有反抗能力，地契现在还在我爸自己手里保管着，现如今，他们的后代找到了我爸，说当时我爸口头上答应给他们地皮作为养育之恩的报答，现在要在地皮上建房子，要我爸拿出来地契。请问，我们该给他们吗？还是可以我们自己拥有留着我们以后自己建房子呢？