抚养费问题，离婚协议上孩子归女方抚养，协议上写的1每月抚养费一千，2上学期间所有费用，3生病所有费用

抚养费问题，离婚协议上孩子归女方抚养，协议上写的1每月抚养费一千，2上学期间所有费用，3生病所有费用，男方没有能力支付那么多抚养费，所以女方以男方不支付抚养费为由把孩子送回男方家了，孩子现在在男方这边待了7年了，男方现在有权问女方要回这七年的抚养费吗？（当初孩子抚养权在女方那边，现在孩子在男方这边）