我家有个棚子，专门晾衣服的，还是在我们自己的地界，隔壁邻居说当到他了，雨声太大了，要求我们撤了，我们

我家有个棚子，专门晾衣服的，还是在我们自己的地界，隔壁邻居说当到他了，雨声太大了，要求我们撤了，我们没有听，我给她说让他也弄个棚子，这样就不的了，毕竟我花了钱的，其他那些人也是这样弄的，没有听到隔壁邻居说什么，我就没有撤，结果那个人自己把我的棚子弄坏了，现在她不赔偿，因为是违章建筑，我该怎么办呢？，