我爸兄弟三个，大大爷没有成家，分家时照顾他分给他一处院，我爸和我二大爷没人分了一处地方（没有房子）

我爸兄弟三个，大大爷没有成家，分家时照顾他分给他一处院，我爸和我二大爷没人分了一处地方（没有房子）。后来二大爷一家都出了（全家都是非农业户口，在外生活四五十年了），我们家盖房子分得地方有限，二大爷让我们把他家的地方盖了房子（二家的地方在一起）。二大爷说你们把我的地方盖了吧以后我老了回家有个地方落脚就行。大大爷后来也没娶上老婆年纪大了需要养老，二大爷家不管，后来和我爸签订了赡养协议（等我大爷去世后所有财产归我爸所有，大大爷已去世）。这两年农村宅基地确权，二大爷他们家回来要那我们家盖他家的地方换大大爷家房子（说要确权到他们家），要不他们说要要回我们家盖房子占他们家的地方，他们要求合理吗？