我和朋友合伙做生意，后面我看行情不好，不想让他在继续投入，再找个合伙人分担一下 我和朋友合伙做生意，后面我看行情不好，不想让他在继续投入，再找个合伙人分担一下，他也同意了，虽然同意了但是他以股份分配不均为由要退出，我们也同意答应分批给他，但是今年行情实在不好，欠款收不回来，他家人就天天来我家里闹，备注：是没有退出协议的。请问他们构成骚扰，是违法行为吗