我爱上一个有家庭的男人，开始我很想和他再一起希望他离婚，他让我等他小孩成了家他才能跟她老婆离婚 我爱上一个有家庭的男人，开始我很想和他再一起希望他离婚，他让我等他小孩成了家他才能跟她老婆离婚，现在我们两也不在一起了也就电话短信联系了，可他们夫妻现在天天吵架她老婆知道我跟他的关系，他们一吵架他老婆就发信息来骂我，我现在该怎么办