与一家装修公司签了全包合同，因为是朋友就没有细看主材，款付了一多半，后来发展主材不符合心意协商自己买

与一家装修公司签了全包合同，因为是朋友就没有细看主材，款付了一多半，后来发展主材不符合心意协商自己买主材，开始不同意，后来我提出我自己买，可以补偿差价。但他提出的差价太离谱了。等于即使自己买材料，他报给我材料的利润一分不少要付。现在工地还拖在那，水电还没有做完。同时开工的时候合同里有施工图，工期，质量验收规范需要我们签字确认，也没有让我们确认，现在在承重墙上长了一道两米多长的横槽，后来仔细看了主材，基本全要换掉。现在想跟他解除合同，对方不愿意退前期工程款。找过消协，除了仲裁没做什么方式都沟通过了。如果仲裁解决我需要付他违约金或其他的吗？