我们家和别人承包土地，在承包土地中，有一户和我家有矛盾，但是和我们一起承包那个人的关系比较好 我们家和别人承包土地，在承包土地中，有一户和我家有矛盾，但是和我们一起承包那个人的关系比较好，所以那人答应把地承包给我们，也允许在他地里盖场地。可是现在我们和这合伙人分开了，这家人就不把地包给我们了，场地也要我们把它摧毁。请问我们该怎么办，盖场地花了好几万，这损失谁赔？