交换庄基地后对方不履行承诺，不认账 96年的时候，我的邻居（同一户族，我叫叔叔）用他的老地方换我的新庄基地，并承诺给我拨六分地，当时我不同一，邻居让同族的另外两个叔叔党中间人，给我说，说老地方和我挨着，我两个儿子，以后两个儿子房子挨着好，说了好几次，我同意了，他给我把地也拨了，但是他家当时把我的新庄基地盖了房子，但是把他家的老房子也没有拆，一直在那放着不给我，快20年了，他家的土坯房已经基本倒塌了，我让当时说话的两个叔叔去他家调解了好几次，他都不愿意提和话题，更不愿意把地方给我腾出来。我现在应该怎么办？