可与对方协商，协商不成到法院起诉

向法院起诉要回抚养权，当然需要你提供男方不宜抚养孩子的证据。

协商解决不成，可以起诉解决。