事情是这样的：我2008年与一女子没婚生育了一个小孩，然后小孩上了女方的户口 事情是这样的：我2008年与一女子没婚生育了一个小孩，然后小孩上了女方的户口，由于生出来的小孩有先天性脑部疾病同癫痫病女方不想抚养双方意见产生分岐。直到2010年我从女方家将小孩接走抚养到现在，接走小孩之后女方曾上门吵闹最后双方达成协议小孩由男方抚养女方不需要支付抚养费，男方愿意保补偿女方四万元已付三万。在男方抚养其间小孩曾发生突发性疾病几次其间共花费六到七万元，到现在女方要追回那一万元，我想问一下我是否有权拒绝支付？求解，谢谢