变更抚养权的问题，有点棘手，请专家给予解答！ 我和前妻于08年8月份在当地法院调解离婚，孩子1岁半，由于对方不要孩子，离婚协议书上写着孩子归我抚养，我不要对方支付抚养费，但她可随时探视孩子（我觉得她毕竟是孩子的母亲，随时探视孩子也为过）。 
刚离婚的时候，前妻频繁来探视孩子，但我都非常配合。 但有一次孩子发烧，正在医院输液，我和孩子奶奶都在医院，前妻提出要探视孩子，但我觉得孩子正在发烧，并且还需要输液治疗，所以建议对方等孩子好了再把孩子接走探视，但是前妻非但不听取我的建议，强行将孩子从医院抱走。 
此后一段时间我打电话要求见孩子，但前妻都拒绝了我的要求，并且不告诉我 孩子在什么地方，后来我到她单位多方打听得知她把孩子送到了附近一个幼儿园，于是我拿着法院的调解书去给幼儿园的领导说清了情况把孩子接回了家！ 
接回孩子后我发现孩子跟她一个多月的时间，扁桃腺已经化脓，声音嘶哑，并且小孩又黑又瘦，我又抱孩子去医院治疗，这时候前妻又打电话说要接孩子回去，我非常生气拒绝了她的要求。此后一段时间，她多次要求见孩子，结果都被我拒绝了！ 
现在前妻又把我给起诉了，说是要变更孩子的抚养权！理由就是：我无视法律要求单方面拒绝她探视孩子！ 还有就是我在外地打工没时间照顾孩子（我在我们附近一个地方打工一周回家一趟）孩子平时跟随奶奶爷爷生活（奶奶爷爷均已退休，收入固定，年龄在53-55岁，居住面积宽敞）。 
现在法院已经开庭了，法官征求了双方意见进行调解，我觉得法官还是倾向于我这边，（因为毕竟我这边条件要好一些）但对方律师以我不让她看孩子导致前妻精神不好进行要挟，说要是不变更抚养权前妻将要成精神病！ 法官也以这个理由咨询我能不能把孩子给她！ 我委婉的拒绝了法官的此项调解，她如果能恪守约定回到以前的轨道上来看孩子可以，但是我认为不能更改孩子抚养权！ 

现在这个问题整天困扰着我，希望一些专业人士或者经历过类似事情的前辈给予指导！不胜感激！
问题补充：现在前妻的父亲出庭作证说是上次法院协议离婚，前妻不要孩子是她父亲逼迫前妻签订的！并且对方律师在做陈述的时候非常敲掉这个理由 还说不变更抚养权前妻就有精神崩溃或者轻生的念头！