请律师帮忙指导。2006年我与同村村民签订了土地永久互换协议 请律师帮忙指导。2006年我与同村村民签订了土地永久互换协议，我补偿给对方4000元，双方及中间人都已签字按手印。现在开始了土地确权，对方不承认当初的协议，要求换回原来的土地，并按原来的土地位置确权，可是现在的土地我已经使用，我不会同意换回。现在全村只有我们两家没有确权了，负责确权的工作人员因为我们有争议就将确权的事搁置了，请问现在我应该怎么办。