我碰到一件苦恼的事，就是同村一个劳改犯回来后，要我家一块自留地做厂房 我碰到一件苦恼的事，就是同村一个劳改犯回来后，要我家一块自留地做厂房，当时他问我时我答应了，而我说出来后家里人死活不答应，这事我也向这个劳改犯说了，可他不答应，说是不给他，会有人来报l服我，现在我为此事伤透了脑筋，请问我该怎么办？