可以免于缴纳。

我不是律师但我亲身经历过，父母一方带出生证和户口本直接去派出所户籍窗口登记，好像可以不用结婚证，当场就可以办好。准生证是不能补的，要带出生证去居委会登记一下，写个认错形式的保证书，不会有任何罚款，顺便办一下孩子的打针疫苗证明，街道会及时和你联系接种事宜，很人性化也很快。但要是非计划外生育，孩子是无过错的，派出所不会罚款，罚款是要由居委会上报给街道办理的，具体各地不一样。