你老公只要与那女人以夫妻名义非法同居才构成犯罪。

你好！
  非法同居不会判刑，但可以做为离婚的条件。

如果没有登记或者以夫妻名义居住 那么是不构成重婚的。

保留证据，起诉离婚并要求赔偿。