不能，可以起诉变更孩子的抚养权。

建议你通过诉讼变更小孩的抚养权。事实与理由方面：男方把小孩留她爷爷家，一直未关心小孩的成长，严重影响小孩的健康成长。