律师，你好，我结婚三年，有一个1岁四个月的女儿，在孩子3个月的时候，因为他问我要我的工资卡，我没有给

律师，你好，我结婚三年，有一个1岁四个月的女儿，在孩子3个月的时候，因为他问我要我的工资卡，我没有给他，他把我们娘俩赶出家门，至今没有接回去，后来，我跟他说好话，他才来看我们娘俩几次，但是又跟我父母，姊妹吵架，现在，对我和女儿不闻不问，我想离婚，我同意协议离婚，他不同意，要起诉，但是他又不去法院，我想去，但是又怕失去主动权，我该怎么办？