可以起诉试试看

小孩给了男方就应当遵守约定。

如果条件允许，可以向法院申请变更抚养权。

你好，建议和男方沟通协商处理。