姝夫给我发了很多信息，我也回了(我和他没有发生性关系)，他老 姝夫给我发了很多信息，我也回了(我和他没有发生性关系)，他老婆(老公的妹妹)拿着他的通讯录认定我和他老公发生了关系，还扬言要闹，如因此我的家庭，生活，名誉受损，我该怎么办，可以用法律来维护吗？