老家盖房子有人来我家闹事，我不让他进来，他硬闯，我阻挡了没用，他推倒我，我跟他打起来了，然后工人还在 老家盖房子有人来我家闹事，我不让他进来，他硬闯，我阻挡了没用，他推倒我，我跟他打起来了，然后工人还在踩踏板工作，他二话不说就把踏板掀翻。我俩又打起来了。他现在告我殴打他。我应该负责任吗？