律师你好！2002年左右我老爸因邻居建房挡我家房子采光原因跟邻居产生矛盾 律师你好！2002年左右我老爸因邻居建房挡我家房子采光原因跟邻居产生矛盾，被其弟弟打成轻伤，04年左右已经私了，对方赔了54000元，现邻居家老是说我家骗了他家54000元，而且不断的用诬辱的语言攻击我老爸。请问我可以怎样处理此事？