你所说的这种种情况。建议协商不好，可以起诉法院。由法院依法判决。

抚养孩子是父母的法定义务

孩子的抚养权双方协商,一般本着利于孩子成长的原则处理,如果孩子较小,随母亲可能性大.如果是两个子女,一般父母各抚养一个.不抚养孩子一方有探视权，同时需要支付抚养费,一般以实际收入的20%-30%为限.可以要求一次性支付. 负担两个子女抚养费的，比例可适当提高，但一般不得超过月收入的50%。无固定收入的，抚养费的数额可依据当年总收入或同行业平均收入，参照以上比例确定。
抚养费可以根据孩子的实际生活需要或者支付抚养费的实际经济情况相应变更，可以要求增加也可以要求减少。
不能以不要抚养费为由剥夺对方的探视权，是违法的。
相关法律依据如下：
《关于人民法院审理离婚案件处理子女抚养问题的若干具体意见》
第一条 两周岁以下的子女，一般随母方生活。如果母亲有以下情形之一的，也可随父方生活：
(a)患有久治不愈的传染性疾病或其他严重疾病，子女不宜与其共同生活的；
(b)有抚养条件不尽抚养义务，而父方要求子女随其生活的；
(c)因其他原因，子女确无法随母方生活的。
另外，父母双方协议两周岁以下子女随父方生活，并对子女健康成长无不利影响的，可予准许。

（5）关于管辖法院和所需材料：
起诉离婚需要到被告所在地法院起诉，被告户籍地和经常居住地法院都可以。
起诉离婚需要准备诉状、双方身份证件、结婚证以及要求分割财产的证明等相关证据即可。