一个男的骗我还没结婚，有小孩了就叫我下了，说他家里人不同意这么早结婚，后来下多了，医生说以后很难怀孕 生完孩子后，一直都是他给的抚养费，现在是一人一半，现在他老婆要生二胎了，要我们离开，说我闹的话就把我儿子的抚养权抢走，请问现在孩子的户口上在我家的，也一直是我带，他只是给点抚养费，他有资格或有可能把我儿子的抚养权拿走吗？