我家楼下被租出去了，5、6个外地男的，本来楼老旧，隔音相对来说就差，楼下几个男的一喝酒，大声嚷嚷，乱

我家楼下被租出去了，5、6个外地男的，本来楼老旧，隔音相对来说就差，楼下几个男的一喝酒，大声嚷嚷，乱挪椅子、咣当门声更明显，一折腾就到10点多，有时甚至能到12点，已经影响到我家的生活了，这家租户的楼下我也问过了，觉得他家很吵，可是碍于人家几个男的不敢找上门，有一次因为太吵我下楼去找，还骂我有病，差点动起手！遇到这种情况，我该怎么办？