看完铺给了订，后来才看合同，原来这店铺租金3千多，原来有分租后的介钱，现铺主就要我签合同（租金500

看完铺给了订，后来才看合同，原来这店铺租金3千多，原来有分租后的介钱，现铺主就要我签合同（租金5000元），要我收了分租铺的钱后一齐转给业主的帐号（5000元）.当时看合同一直未有落实要签，讨论介段，后对方有事离开了（大约下午2点）。到今晚8点给电话跟现铺主说如果以这样的租金（5000元）签合同无法签，因为说好是3千几多租金才看的铺下的订，现合同却写5千，金额不符合当时谈的条件租金金额，要求更改合同金额3千多，对方却说不能改，说是他之前也是这么签，那样的情况，我说既然合同不能改合，那也没法签提出了退钱，但对方又不退，他说我们违约。请问真的是我们问题而不能退吗