如果只针对你而没有公开散布的话，不构成诽谤。待他真的来你单位骂你才有可能构成诽谤。目前至多是骚扰你，你可试着报个警，如果警察不管，那你只有自己解决了。

如果他真到你单位去 你可以报警解决

口头或书面形式告诉他，如果来工作场所来闹，必然报警，后果自己承担！

建议报警。
我可以提供法律帮助，欢迎电话或当面咨询武汉张律师，预约电话18971506195

这要看对方的行为与造成的后果，如果仅仅是用纸条说了几句骂人的语言，尚不构成犯罪的。对方的恐吓行为有可能是要给你造成一种心理上的压力，你应当保存好对方恐吓你的书面证据，向公安机关报案，寻求保护。