你好，我家起的房子有一小块地是梁某的，我家起房子前找梁某换地了，梁某同意换地了，换地三年后我家才起房

你好，我家起的房子有一小块地是梁某的，我家起房子前找梁某换地了，梁某同意换地了，换地三年后我家才起房子。前两年梁某要求换我家要别的地块给他，之前的地块不要了。现要求换的地块比当初他家的地块要大很多，我家不同意。梁某家就说不同意，就把我家给砸了，把他之前的地还给他。之前互换地是口头协议的，现在这个事都过去二十年了。请问这个口头协议是否有效？若是协议有效，我家要是不同意梁某重新换地，可以吗？另外因为之前只是口头协议，当时没有任何签署文件，前些年政府重新下发的土地使用登记，不管是我家房子的地块，还是之前换给他家的土地都还是按以前分配的登记在我爸名下，像梁某这般无赖，我家该如何维权？