几十个平米的自留地被他人占有 家中的自留地曾给过二伯无偿使用一段时间， 但最近由于父母想收回此地要求其归还却被二伯拒绝，只好请村委会出面调解，村委会要求二伯将该地归还给我们，但二伯坚持不肯，不接受村委会的和解。

请问，村委会的调解是否有法律效力，二伯拒绝村委会的调解是否算违法
如果没有其他办法进行调解，是不是要去诉讼，应该由哪方申请诉讼呢？

附：我爸曾经和二伯发生过争执，二伯出手打人，并将我爸打伤，将家里的门窗砸坏。