给私人小老板干活，是按平房算钱的，当时有两户刮了腻子，他没有让木工做衣柜，导致后续刷漆干不成，我在那

给私人小老板干活，是按平房算钱的，当时有两户刮了腻子，他没有让木工做衣柜，导致后续刷漆干不成，我在那等了好几天，最后我走了。一个多月后他问我回去刷漆不，我当时在别地方干活，说没有时间。现在问他要刮腻子钱，他说我不回来干刷漆，我做过的活底子找不到人刷漆，他把腻子也算给别人才有人干的。所以就没有我的钱了。请问他做法合理吗？当时因为他不安排木工打柜子我才走的，没有合同，也不知道他真实姓名，只有电话。这两户房子是他亲戚的。我该怎么办