我家土地被他人违建寺庙 2012年7月份，我爸偶然一次上山看到我家的地被人建了一座寺庙，就去找村里的队长，队长说地借给他们的，等什么时候赚到钱了再分我一点，如果没有赚到钱就关门由我们自己去处理。我想问下地是我们家的，而且早就已经分家到户，他们没有经过我们的允许就建起了一座寺庙，是不是应该承担相应的法律责任呢？村里队长说的话是否有违法律呢？如果我们要追究的话应该怎么做呢？