请帮助一下 我在我现在住的地方住了23年了没在我9岁的时候父亲过世，母亲带着我一直到现在，住的房子的房照是爷爷的，当时在父母结婚的时候爷爷说房子给我们了，但是现在不承认了，现在他想把我们都赶出去，不让我们在这个房子里住了，请问他有这个权利吗？我们应该如何处理
房子是四间房   分开的，我们住两间。