违反计划生育政策的，对男女双方分别按照统计部门公布的当地县（市、区）上一年城镇居民人均可支配收入或农村居民人均纯收入的下列倍数征收社会抚养费。因此，社会抚养费的征收是男女双方合起来的，不存在社会抚养费按哪一方征收的说法。