农村土地交换 几年前，村里一位村民与我家换了一块地，当时交换时未签定协议（但说好了我家要时还的）。如今该村民的儿子认为交换好几年了，那地已成他家的了，在我家不知情的情况下挖土建房，现我们认为，那地是我家的，不让他建，让他停下来。他也停下来，说要协商，但协商无果，现对方要求：1、他退回土地，但要我家赔偿他的损失费，2、我家无条件让他建房。如不答应，就告我们。请问他这种行为合理合法吗？他凭什么要告我们？