四年前我把四间门面房租给承租人，签合同之前口头协议，如果我们后面盖起来他们一起租 四年前我把四间门面房租给承租人，签合同之前口头协议，如果我们后面盖起来他们一起租，否则我们前面也不租给他。两年前他们把房子转租给别人，我们也同意并在转租合同上签字，但是转租合同上有写后面盖好他们就租。现在我们盖好了后面，他们也不租了，转租合同也到期了，我们就想解除合同，把他们交的房租剩下的退给他们，我们再招租。没想到他们反而给我们要赔偿，钥匙也不还给我们，现在我们该怎么办？