事实婚姻彩礼纠纷 2014年12月25日办了酒席，属于事实婚姻。我现在想离婚，男方要我退还彩礼，男方当时来了十万彩礼，而我家拿了彩礼买了结婚所需要的东西，但票据当时都没有留，曾经有到当地派出所签过一个协议，不知道那个协议在法律上有没有效。协议内容：双方共同生活了一段时间因生活期间双方感情不和，现经双方家属协商处理同意共同生活三个月，男方承诺这三个月对女方好，不管在哪里工作或者生活都带着女方，不在言语上或者其他方面伤害女方，如果三个月相处愉快就办理结婚手续，而女方也要承诺做到妻子的责任，要跟男方一起生活，如果谁违约都要承担相应的法律责任。
协议时间是2015年3月4日。而我现在不想跟他一起生活了，只想离婚，我算违约吗？这份协议感觉有点限制我的人生自由。我现在不想跟他在一起了，我应该怎么做？如果他打官司的话，我需要返还彩礼吗？需要返还多少？