我与爷爷奶奶签了换房协议，约定他们的房子归我，我的房子归他，签订协议不久爷爷过世了 我与爷爷奶奶签了换房协议，约定他们的房子归我，我的房子归他，签订协议不久爷爷过世了，后来，奶奶按照协议把他们的房子的产权过户给了我，然后奶奶又与我签了补充协议，内容是“奶奶放弃她相关的产权，不再要求孙子履行过户义务，爷爷的份额根据相关法律分割”，后来奶奶也过世了，奶奶的子女找我要房子，请问我需要把房子让出来给他们继承吗？