与别人合作建房 我们出地 投资方出钱 房子前面一半归我们投后面一半归他们 建四层 本应2018年年底

与别人合作建房 我们出地 投资方出钱 房子前面一半归我们投后面一半归他们 建四层 本应2018年年底交房 但后面我们有要求再建半层 一个月内就搞好了 所以延期一个月交房是合理的 但是投资方迟迟不给我们继续把一楼搞好 清明节时答应了两个星期 但现在都到五月份了没搞好每天就来两三个人干活 现在连个工人都没有 所以这种情况我们应该怎么办？