离婚四年，前夫工作时间网络赌博欠债，后被我们知道，他报警笔录做的是说被诈骗 离婚四年，前夫工作时间网络赌博欠债，后被我们知道，他报警笔录做的是说被诈骗，没结婚，后高利贷上门，我提出离婚女儿归我，现在每个月一次爷爷奶奶来看孙女，他偶尔一起来，每个月都是外公外婆出面带女儿外面去给他们看，我从不出面，离婚后也从不联系，来看女儿都是爷爷打给外公电话，我想问的是，如果刚好有一次我爸妈带出去给他们看，刚好被高利贷人看见知道了，那么会不会被高利贷人认为我们还有联系还有牵涉，来问我们要债了，我们可以采取什么措施