如果他们是以夫妻名义同居，涉嫌重婚罪，你可以提起刑事自诉追究男方刑事责任，第三者知情的话也涉嫌重婚罪。
男方存在法定过错，你因该留存证据起诉离婚，要求男方对你进行过错赔偿，并要求男方少分或不分财产。