您好，谢谢您的咨询。不知道您的购房合同有没有约定退房可以不付违约金的，如果有则您可以不付。如果没有就只能与对方协商了。希望能帮到你。