离婚后小孩归男方，离婚协议写抚养费全由男方出。男方再婚住女方家 离婚后小孩归男方，离婚协议写抚养费全由男方出。男方再婚住女方家，小孩就跟奶奶生活男方就只有中午回家吃饭。现在奶奶去世了孩子就跟姑姑一起，男方现在抚养孩子有困难叫孩子母亲抚养，孩子母亲就想要抚养权，但男方又要叫孩子母亲补起他这几年给孩子用的钱，孩子母亲不同意就说孩子以后的所有费用都不用男方出，请问孩子母亲不补前几年的费用能要回孩子的抚养权吗？