我与前妻五年前协议离婚，未办理离婚证，离婚前关于孩子抚养问题草拟了份合同 我与前妻五年前协议离婚，未办理离婚证，离婚前关于孩子抚养问题草拟了份合同，合同双方签字未按手印，合同内容为女方放弃孩子抚养权，但是因孩子还小，暂由女方抚养孩子到上小学的年龄，之后由我抚养至18岁，女方有探视权，并支付抚养费。现在孩子到上小学的年龄了，女方不愿意按协议约定把孩子抚养权交还给我。我有协议在手，今年年初也办理了离婚手续。请问我能追回我的合法权益吗？