解除同居关系即可，不需要办理手续。
把子女抚养权处理好就可以了。

协议离婚：双方就离婚、孩子抚养、财产与债务处理等问题达成一致意见后，双方亲自到民政局登记离婚。带各自的身份证、结婚证、户口本，照片，离婚协议。
不能协议的，起诉离婚：向对方所在地法院起诉离婚，需要提交身份证、结婚证、起诉状。 我的补充： 2016-01-13 19:08

未登记不构成婚姻关系，双方有一方离开即告解除同居关系，孩子、财产有争议可提请法院解决。男方有权退彩礼。