可以协商，协商不成，起诉离婚，如果双方都要孩子，法院会判给有利于孩子成长一方抚养

抚养权方面，要按照那一方的抚养对孩子成长有利原则，法院确定抚养权时会综合考虑孩子现在的生活状态、夫妻双方的工作收入及道德方面及孩子是否一直由一方父母在抚养等因素来判断。
2岁以下的小孩一般判给母亲抚养，10以上的孩子，要听取孩子的意见. 若有两个小孩，原则上是一人抚养一个小孩的

委托律师主张抚养权。要根据具体情况分析。“五岁的女孩，一直跟我生活”，从这一点上来看，于你有利。

一般仍由你抚养