首先，四家人合租，并没有违反法律、行政法规的禁止性规定，是合法的。
其次，你没有解除租赁合同的法定事由。由此，你们需要协商解除，或者根据合同约定解除。
协商解除，就是你与房东（出租方）谈。谈妥之后，按照谈成的条件解除租赁合同。
另外，租赁合同中是否约定了解除事由？如果你这一方解除合同，应当承担何种责任？关于押金，是否有相关约定？

可起诉要求退还租金。