我跟一个房屋租赁管理公司签了租房合同，租了一个单间，用的是房间外的公用卫生间 我跟一个房屋租赁管理公司签了租房合同，租了一个单间，用的是房间外的公用卫生间，签合同时合租的室友连我一起三个都是女生，都是单人间，公用卫生间可以接受；但是合同租期内其中一女生A基本每天都带男友回来住，占用资源，共用卫生间；我和另一室友B都很反感，但是又不好当面说人家，也没有向公司投诉；后来B换到新的住处了，她原来的房间空了几天突然又住进一男生，关于这个换租，公司未曾提前告诉我，这样和每天带男友回来住的A还有另外一男生公用卫生间我实在不能接受，于是跟公司退租。但是公司要扣我一个月房租的押金作为违约金，对于这点虽然我退租是事实，但是我认为这违约责任不全在我，基于我和房屋租赁公司的直接合同关系，合同中又有条款列宁中途退租需扣违约金，这个违约责任全由我背吗？我不想被扣押金，应该如何坚持？