老公网络赌博欠高利贷，我知道后接受不了，离婚，离婚协议上写明女儿归我 老公网络赌博欠高利贷，我知道后接受不了，离婚，离婚协议上写明女儿归我，他付抚养费，一个月探望一次，现因对方起诉他，高利贷人讨上门，他逃走了，就开庭的时候来一次，现每个月他爸妈来看我女儿一次，但抚养费没给，现已离婚5个月，若以后他回来说要抱女儿回去几天，我怕出事不给他或者他爸妈抱回去，法律上有什么规定吗，我可以拒绝吗