你可以就小孩的抚养权到法院起诉。

你的问题主要是该如何解决。
通过诉讼，即使判决了，他还是缠着你，和没解决没什么本质的差别，
最多在报警时有了一些凭据。
遇到这样的情况，我建议还是协商，或你退一步处理。
你要想一下他强行带走小孩的目的是什么，才好和他下一步谈判。