想咨询一下关于违约的问题:大致情况如下:我租门面，给房东交了两万元预付款 想咨询一下关于违约的问题:大致情况如下:我租门面，给房东交了两万元预付款，本打算剩下的余款等几天再交，房东也同意了，但是交过预付款后的当天，他门面周边邻居来找我们麻烦，说招牌不允许往上挂，必须在房檐之下，门面后有个院子也不允许我们去，说怕东西被偷，对我们诸多刁难，见此状我决定不再租这个门面。经找房东协商他说给我协调，让我该怎么装修就怎么装修，不要管那些人，但是这个情况我怎么敢盲目把钱投资进去，投资进去就是几十万，以后出现问题我找哪个，所以还是决定不租了，除非房东愿意把这些情况书面承诺在合同上，房东最后没办法也解决不了，答应了可以退租，但他就是想扣我们点违约金，请问他这做法对吗?