私自在自家责任田建房是违法的，应该尽快拆除恢复原貌。如果被土地部门查出，是要受处罚的，所盖房子属于违章建筑要强制拆除，经强制拆除（如推土机推翻）的费用，——即：强制执行费还得被执行人自己承担。给责任田造成的损失或由于建房责任田减收的损失显然还得有责任田承包主自负。同时，如果国家对责任田有任何奖励和补贴，农业部门要以改变土地用途，破坏农田耕种为由全部给予扣除。