关于收养 请问：我于20多年前收养了老伴的外甥，但没有办手续 ，在我家呆了5年后因不合，养子离家走了，现已20年，他现在外面过不下去了想回来住房子，我不想接受他，需要打官司吗？