外人侵占自家土地发生冲突 自家的土地被别家人占用种了树，在和对方交涉过以后，对方不肯移栽，就自己把树给移了。在和对方理论的时候发生了肢体冲突，我方只有一个人，对方人多，被对方语言相激先动得手，双方都受了点皮肉伤。现在对方以“你们先动手，要起诉你们”作为威胁要我方给3000元（双方去医院的时候已经给了1000元），还要继续把树种在我方的土地上。这样的事我方应该怎么处理？