退回去属于追缴赃款，不能因此而免除刑事责任。

退回去的意思是否主动退还非法所得？
如果是，则另考虑你朋友参与传销的具体细节，另作处理。
退回去只是其中一个量刑考量因素。