如果实在严重的话，直接寻找警方的帮忙了

简单的办法是换号，以后没必要不要和别人老公有太多瓜葛。
复杂点就是澄清此事，既然和你没关系和对方说清楚，是在说不清可以报警甚至起诉

收集相关证据，警告无效后可以通过法律途径解决。