作为刑事案件中被害人的法定代理人，你依法有权申请审判人员回避。

我国刑事诉讼法第二十八条规定，审判人员、检察人员、侦查人员有下列情形之一的，应当自行回避，当事人也有权要求他们回避：
（一）是本案的当事人或者是当事人的近亲属的；
（二）本人或者他的近亲属与本案有利害关系的；
（三）担任过本案的证人、鉴定人、辩护人、诉讼代理人的；
（四）与本案当事人有其他关系，可能影响公正处理案件的。该法第二十九条规定，审判人员、检察人员、侦查人员不得接受当事人及其委托的人的请客送礼、不得违反规定会见当事人及其委托的人。

最高人民法院《关于适用〈中华人民共和国刑事诉讼法〉的解释》第二十八条规定，当事人及其法定代表人依照刑事诉讼法第二十九条的规定申请回避的，应当提供证明材料。

因此，如果你认为审判员与被告人有过私下往来，你可以向法院申请这名审判员回避，即要求其不再参与本案的审理，但你应当提供能够证明这名审判人员与被告人曾有过私下往来的证明材料。该审判员是否应当回避，由所在法院的院长决定。