我和男方是在法院调节离婚的，当时法院调解孩子的扶养权归男方，但因孩子年幼暂时随我生活 我和男方是在法院调节离婚的，当时法院调解孩子的扶养权归男方，但因孩子年幼暂时随我生活，男方给付适当扶养费，现在孩子8岁了，一直随我生活，男方也没有给过扶养费，现在男方想把孩子要回去，我不想给他，他父母都有病，不能更好的照顾孩子，我想问，我能要回孩子的扶养权吗？