可以起诉，但孩子的归属遵循以下原则：孩子未满两周岁时一般优先归母亲抚养，满两周岁法院将根据双方实际条件按对孩子成长有利的原则确定孩子归属，满十周岁法院还会征求孩子的意见。

你有权起诉要回孩子，你是父亲你有亲权。即是权利又是义务。