如果只是怀疑 没有散布谣言 你不必理会 如果他散布对你不利的言论 你可以搜集证据 提起民事诉讼要求赔偿

如果对你造成了比较大的伤害，可以提起民事诉讼。