你们有协议按协议办。

根据你们的离婚协议履行

如果你们离婚的时候有离婚协议，就是按协议办事，如果没有，按照你的说法，小孩也是跟着你生活的，所以他想要回去，除非你自己愿意。

你们协议是怎么约定的，建议详情可以与本律师联系详细咨询。