我和他人口头协商一起合作，两个人平摊加盟费去加盟地学习签合同回来之后 我和他人口头协商一起合作，两个人平摊加盟费去加盟地学习签合同回来之后，这个人说他不干了要让我给他退钱，还找人来我家找事，威胁说钱可以不要要找人打我。而且私自找人调查我的户籍信息，得知了我家人的信息还要去我家人单位闹事，我该如何处理？