可以通过诉讼途径解决。要求解除同居关系，并对子女抚养权进行依法裁决。

如你们与第三人均不存在婚姻关系，根据法律规定，你们的同居关系无需解除，因为该同居关系不受法律保护。至于孩子的抚养权，依惯常的处理方法，在有两个孩子的情况下，一般是一人抚养一个孩子。但是你的情况比较特殊，如果你坚决主张孩子的抚养权，那么你完全可以声称男方长期从事违法犯罪行为，因而其抚养子女明显对子女的成长不利，请求抚养判令子女归你抚养，由男方支付抚养费，抚养费的支付标准为不抚养孩子一方收入的20%到50%（两个孩子）。

同意以上两位律师的观点。

你们的所谓婚姻不受法律保护。但可以起诉要求孩子的抚养权，并要求对方承担子女的抚养费。

协商不成，可以通过起诉要求解除同居关系并解决孩子抚养抚养问题。