按合同上扣对方违约金可是却变成被告我们欠他们钱了 当时与对方签约将食堂转包给其经营，非特殊情况对方提前解除合同我方有权默收其押金和未到期的共建费用。当对方经营一段时间后发现亏损厉害要求提早解除合同。起初我们不同意，他就带了一群黑社会的进来威胁我们。后来我们没办法就同意了，当时我们签过一张协议注明返还给他11万元。而他没拿走连当初签约的合同都放我们这里。后来我们汇了五万给他。其余的六万想到他什么证据都没有就没给他转了。但后来他一直打电话要求我们还钱，我们只说有钱会转给你的。他赁着录音去告我们。请问哪边胜诉的机会更大一些呀？