他的行为首先侵犯了你的隐私权或肖像权，至于来电来信息侮辱你属于性骚扰，侵犯了你的人格权，如果这种行为很严重，比如不仅骚扰你，还骚扰到你的亲朋好友或其它熟人，更有可有构成侮辱罪。
你可以通过诉讼的途径来维护自己的权利，如果他还经常短信骚扰，你还可以报警。