你好，我家买了我邻居承包别人的地而且我家有和邻居签的土地转让合同，而且给过合同上签订的签订的钱，现在 我家买了我邻居承包别人的地而且我家有和邻居签的土地转让合同，而且给过合同上签订的钱，现在地的原主人看到自己家的地被别人卖了而且还没给他土地的钱。现在他向我家要钱还说不给就拆我家的房子我该怎么办？该不该给他钱？