现在由于男方家里重男轻女，因为男方有离婚过，留有前妻一女儿，所以2016年3月4号结婚 现在由于男方家里重男轻女，因为男方有离婚过，留有前妻一女儿，所以2016年3月4号结婚，现在我生了一个女儿，男方家里一直不管不问，半年了，我带女儿一直在娘家，现在回去几次，男方一直不愿开门让我们进家了！现在就是我想离婚了！可是男方却说让我把彩礼钱20万全部退回就同意离婚！可是我去起诉，我也问了法院一些情况，法院的人却说要退回部分彩礼，就补给我这一年在娘家的生活费，还说女儿如果男方要，还处于哺乳期，那么我就要带两岁再交给男方，并且还出抚养费！照这样说，那我该怎么办？