我曾经跟孩子父亲属于同居关系，没结婚没办酒席没有结婚证，生下一儿子 我曾经跟孩子父亲属于同居关系，没结婚没办酒席没有结婚证，生下一儿子，现已经七岁，生下时跟孩子父亲分手，孩子父亲也表明不要孩子，离开后他们全家一直对孩子不闻不问也再没出现过，我早已经带着孩子组建新的家庭，也过的很好，刚才孩子的爷爷突然来到我家说要带走孩子，要打官司，我们并不想给他们，并且不希望跟他们再有来往，也不希望孩子跟他们再有任何接触，有什么办法可以解决吗？