我家的地方二十年前被别人占用盖了房子，当初是说用一段时间，用完之后就还给我家，但是他现在一直拖着一直 我家的地方二十年前被别人占用盖了房子，当初是说用一段时间，用完之后就还给我家，但是他现在一直拖着一直不给怎么办呢？我可以直接给他拆除吗