我们最先在一个比较荒芜的地方建了一所房子，居住二十年之久，现在这个地方发展起来了 我们最先在一个比较荒芜的地方建了一所房子，居住二十年之久，现在这个地方发展起来了，我们两边都盖起了楼房，我们也想翻新，但最初乡政府不让盖，说是乡政府的地皮，要我们缴费，我们交了二十万，乡政府让盖了，但现在却又有人不断举报到县土地局，说我们违规建房，请问，我们真的违规了吗？我们该怎么办？