几年前买了一处院子，和卖主签了协议，卖主把房产证就给了我们，可是由于种种原因只是交了税费而没有过户。

几年前买了一处院子，和卖主签了协议，卖主把房产证就给了我们，可是由于种种原因只是交了税费而没有过户。过了两年卖主家里人要办低保，人家查出他们有两套房子，不给他办，他就软磨硬泡的跟我们要走了他的房产证和税票及所签的协议。现在我跟他要这些东西，他就不给了，理由是我们当时没有及时办理过户，导致得他现在拖关系找人花了好多钱，如果赔偿了经济损失就给我们那些东西。当然我们不想给他钱，现在该怎么办呢？你们给个建议