小儿子有一个购房指标，老父亲就用这个指标买了一套房子，和小儿子签了一个协议，明确了这套房子的产权是归

小儿子有一个购房指标，老父亲就用这个指标买了一套房子，和小儿子签了一个协议，明确了这套房子的产权是归老父亲所有，然后呢双方的关系比较融洽的时候，老父亲写了一个材料说，不再要求小儿子把这套房子的产权过户给老父亲，老父亲放弃产权，也就是这房子的产权一直在小儿子名下，现在过去了五年，请问老父亲还可以把这个房子要回来吗？