我和老婆是事实婚姻，婚后有三个孩子，原来在家是私营店主，后因失败欠账我就出来打工 我和老婆是事实婚姻，婚后有三个孩子，原来在家是私营店主，后因失败欠账我就出来打工，可能是异地夫妻大多会遇到的问题，我们也遇到了，她有了外遇，后经我再三规劝没有改变，私下写了份协议，孩子归我抚养，可因为欠账的原因我一直在外面打工，孩子还是由前妻带，我寄钱回去，一直以为我能重新生活找个合适的伴侣，前几年我也找过一个，可不知道我前妻跟她说了什么后来她就走了，接下来的这两年我都没再考虑自己的私生活，现在我遇到了一个想跟她一起生活的女人，可同时担心这样的事情再次重演，因为刚离婚那时候我寄回去的钱我前妻都还有在用，这几年我打回去的钱她一分没动，也不让孩子联系我，我打孩子的电话他们就问我什么时候回去如果说现在没时间他们便不再跟我说话，我想咨询一下像我这样的问题该怎么解决