这问题要看当时怎样协商的，物品的自然磨损是正常的，不能以此来要求扣除押金，但如果是人为损坏的可以要求进行赔偿

1、如果自然损耗或折旧，则不能扣留对方的押金；
2、如果是造成了损坏，则应赔偿相应的损失。

如果住了4年，没有磨损也不符合常规啊；
如果有明显的人为损坏，可以依约扣留押金，否则建议还是退还押金。

协商不成，可以考虑通过法律途径解决。