我的老公和邻居有发生口角时这个邻居说我和我的孩子都是他的，此事本与我无关当时我也不在场 我的老公和邻居有发生口角时这个邻居说我和我的孩子都是他的，此事本与我无关当时我也不在场，我听说后就找到这个邻居并骂他几句。现在他们家反而不饶我。请问这种情况我可以起诉他侵犯名誉权吗