直接离开就行了

未办登记不构成婚姻关系，双方有一方离开，同居关系即告解除，孩子、财产有争议可提请法院解决

直接离开。

你们的婚姻没有法律承认。只能说是同居关系。想离开随时可以。