我河南的我家的责任田前几年别人建房挑换了，还有两间的地方未建 我河南的我家的责任田前几年别人建房挑换了，还有两间的地方未建，当时口头协商这地还是我说了算，可是隔几年我想建房，再向他提出他却不肯，请问能要回吗？