我家几年前跟村里面的一个人换了一块耕地，当时是口头协议，没有书面合同或协议 我家几年前跟村里面的一个人换了一块耕地，当时是口头协议，没有书面合同或协议，但是现在他把我们交换的那块耕地以1万5卖给别人建房子了，且并没有与我家商量，现在房子已经建了一半了，我能不能要求他们停工，恢复成原来的耕地？