你好！我是农民，在2004年的时候和同村一村民更换种地0.4亩 你好！我是农民，在2004年的时候和同村一村民更换种地0.4亩，意思就是换地块种，当时补偿对方2500元钱，此后互不干涉。可是就在这几天，这名村民说当时互换地后，他种的0.4亩地后来被村里收掉了，现在还要我这0.4亩地，我这地在2005年就给村里交了钱买下了，我们村都是这样的。请问如果他要闹事我该怎么办？