我国刑法第183条规定，对于年老、年幼、患病或者其他没有独立生活能力的人，负有扶养义务而拒绝扶养，情节恶劣，处五年以下有期徒刑、拘役或者管制。这里所指的情节恶劣，通常是指被遗弃人因生活无着而被迫到处乞讨，遗弃动机卑鄙，遗弃手段十分恶劣的，由于遗弃造成病、残、死亡后果的等情况。 

由于您的小孩一直由您抚养，因此被未被遗弃，因此在离婚时您可向您的丈夫主张此期间的抚养费及今后抚养费等。对于孩子的抚养权会综合男女双方的经济能力、与孩子的感情等因素而判决，在哺乳期会更多的考虑母亲，因此这样有利于婴儿的成长，当然如果就此问题能协商解决最好。

你好，我是潍坊陈律师。你丈夫的行为应当构不成遗弃罪。但是你可以要求你丈夫支付你孩子的抚养费，孩子二岁之前一般都是判给女方。