单位的房子只提供给你父亲居住，且约定子女无权居住，所以你们继续居住没有合法根据，拒绝缴纳租金更是无理，单位可以起诉你们要求腾退房子，赔偿租金损失。

单位是因为你父亲的关系才将房子租给你们的，并且约定子女不能居住，现在又不交租金，已经违约了

根据你们的协议书，子女不可以居住，但是个人觉得你母亲还是可以继续承租。如果原单位在合理的期限内催讨过后你们还是不交，那么其可以要求你们退租。你们无权要求赔偿，因为是你们违约在先。

您好！
   建议带好相关材料到苏州市人民路1102号（苏州市公安局对面）江苏谐达律师事务所找孙律师面谈，面谈能把问题讲得更清楚，律师的解答更有针对性，孙律师电话：13914031175、15850805293。
委托律师处理纠纷能最大限度地维护您的合法权益！