协议离婚，离婚协议书上写的是可以随时探望孩子，但是从离婚到现在一年零三个月了；就最近见过孩子一面，还

协议离婚，离婚协议书上写的是可以随时探望孩子，但是从离婚到现在一年零三个月了；就最近见过孩子一面，还是晚上就见了几十分钟；这一年多时间也找他商量要接孩子出去玩，总是推脱，没有时间，或者孩子没在家，而且男方说只能见孩子不能接出去，还有是在男方在有空闲时间带孩子出来或者自己去男方家里探望孩子，现在这个情况要回抚养权还有没有可能，孩子是女孩，现在五岁了，平时跟爷爷奶奶生活，父方打工，可能晚上孩子父亲回家孩子跟父亲休息，爷爷奶奶都六十以上，爷爷有糖尿病，奶奶高血压，还有一个九十多的老奶奶，他现在不按协议书的协议履行，请问我现在能不能要回抚养权了？