当时我在一个个人开的儿童康复诊所上班，老板和我没有签过劳动合同 当时我在一个个人开的儿童康复诊所上班，老板和我没有签过劳动合同，前面他让我去北京培训过三个月，在培训期间也没有签署培训协议，培训完后我又在这给他打工了一年，17年家里有事，他给我开完工资后我就不干了，后来有个机会，我去北京上班了还是康复这行。他后来知道了我还干这行，她心里感觉当时培养了我，现在给别人干了，心里不舒服，现在他找各种理由让我赔给他当时的培训费。还说如果我不给他，他就招人上我家里去闹，去打我。我该怎么办，用不用赔给他钱。