我父亲在老家有个房子，父亲曾口头与人交换房产，但是没有更改房本 我父亲在老家有个房子，父亲曾口头与人交换房产，但是没有更改房本，交换后的那块地皮没有屋子，并且交换后一直没去居住，借予该人使用，该人架上铁皮，十年来一直当做仓库使用，该人曾承诺父亲将在交换后了的地皮上建造三间房屋给予父亲作为补偿。父亲去世，现在要求该人建造三间房屋，该人一直推脱，请问这种情况怎么样才能要回自己应有的财产。