你好：若有证据证明无法行使抚养义务是男方导致的，那么，男方起诉你不抚养是不会受到支持的。毕竟孩子还小，双方好好沟通，照顾好孩子。

既然你是被男方赶出来的，男方当然没有理由说你不尽抚养义务。