一般是不允许的，因为在服刑期间不可能照看小孩。

如果父亲同意并委托孩子的祖父母监护且祖父母同意监护孩子的，可以的。