请问我方在农村将自家的一间瓦房给五保户住，给五保户住前没有做任何证明，只有口头协议。现政府想给五保户

请问我方在农村将自家的一间瓦房给五保户住，给五保户住前没有做任何证明，只有口头协议。现政府想给五保户建房，我方想要收回房子怎么处理？我方已与五保户沟通后达成口头协议，协议内容是五保户同意他不在世后房屋归还给我方。现我方想与五保户签个协议，我方应该怎么写这个协议？