不用退。

需要退还，但要求退还你自己承担部分

1、原单位给你多缴的两个月社保，本人有义务向原单位支付你个人缴纳部分，因为单位是代收代缴。
2、公司缴纳部分原则上你也应当支付，可以先和原单位协商，看是否“减免”。该笔费用应由新单位支付，实务操作中你可以凭原单位缴费证明到新单位报销该笔款项。