协议离婚纠纷 2006年，我父母因感情不合，双方在民政局办理了离婚证，并且自愿签署了离婚协议。离婚协议上签订，双方婚后所有财产归我母亲和我所有，财产有，住房一所，铺面一间，但是因为当时房产证压在银行贷款，没有取出来，所以也没有去换所有人名字。
2012年，还完银行贷款，拿到了房产证，但他又不愿意去换名字了。离完婚后，因为他没有房子住，我母亲又认为夫妻一场，所以就准许他在那里居住，但是今年发现，他还带了女人在里面住，我们就不同意他在里面住了，但他说房产证的名字是他的，房子是属于他的，他爱带谁在里面，就带谁。
请问，这样的事，我想上诉，应该怎么做？