你可以带着小孩离开他，或者去法院起诉解除同居关系，并要求获得孩子的抚养权，以及要求男方支付孩子的抚养费。

小孩的抚养权问题，可以协商解决或者由法院依法判决。
如对解答有疑问，可来电联系我，帮你进一步分析或者维权。

你好，没有登记结婚的，可随时解除同居关系，对子女抚养问题达不成协议的，向法院起诉解决。10岁以上的，要征求孩子的意见。如两个孩子都愿意与你共同生活，可有望争取到。如需帮助或有疑问，可直接联系。

你们没有登记结婚，不算夫妻，只是同居关系，可以向法院提起诉讼要求两个小孩归你抚养，由男方支付抚养费。小孩满10周岁的话，法院会参考小孩的意见。可以尽量争取。欢迎来电。