我是一个单亲妈妈，一直一个人带着孩子。事情是这样的，孩子一岁时 我是一个单亲妈妈，一直一个人带着孩子。事情是这样的，孩子一岁时，感情不和协议离婚，孩子归男方，女方没有探视权抚养权不要抚养费.但孩子小，一直由我带大，现在已经10岁，孩子的父亲一直没给过生活费，要过一直以没钱推迟。现在他以在组建家庭并且又有孩子，我想要回扶养权，一并把抚养费要回来可以吗？