我和别人交换土地，现我要用此地建房，现在准备建房后对方反悔不换了，有书面协议，我家和他交换的那块土地 我和别人交换土地，现我要用此地建房，现在准备建房后对方反悔不换了，有书面协议，我家和他交换的那块土地他家也已经使用了，现在他说不换就不换了没有经过我们的同意，请问我该怎么办