我和我的前夫离婚当时孩子4岁跟我一起生活我们以生活4年当时我 我和我的前夫离婚当时孩子4岁跟我一起生活我们以生活4年当时我们签协议财产归男方孩子归我现在男方又想要回孩子我应该怎么办。