我跟前男友未婚生了一个女儿，女儿出生一个月我就带她回我妈家，小孩四个月大男方家就没给过钱养小孩 我跟前男友未婚生了一个女儿，女儿出生一个月我就带她回我妈家，小孩四个月大男方家就没给过钱养小孩，一年到头才给那么一千五，现在小孩三岁多，我也跟她爸爸分手了，现在男方家想要把小孩要回去，我们家不同意，因为他们没有负过什么责任，户口上到她爸爸家，请问我可以不让他带小孩走吗？