你好
那就不要协议离婚，或起诉离婚。

如果不想离婚，建议与你老公多沟通，及时化解矛盾，不要将事态激化。只要还想继续生活，就不要四处吵闹，尽力维护家庭的稳定，将目前的处境及时改变。如果经过努力实在无法改变，那就利用法律的武器保护自己吧

1、如果他与那女的以夫妻名义同居或者登记结婚了，你可以告他重婚；
2、除了以上情况外，你不离婚的情况下，法院不会立案