可以考虑离婚。

一方有过错，应承担责任，对方可以提出相关权利等；

收集证据，如果他们以夫妻名义长期共同生活，则涉嫌重婚罪。