由于你嫂有情人且通过情人经常发短信骚扰你，你为此打了你嫂子几巴掌已经构成民事侵权，当然你嫂也有一定的过错，但是否追究你的民事责任由你嫂子决定。但你嫂子被你打后就离家出走暂时表明不想追究你的民事责任，属于赌气离开。问题是你嫂子离家出走后造成你不正常的哥哥和两个小孩无人正常监护，那么如何解决该监护问题呢？根据《中华人民共和国民法通则》第十六条、第十七条规定，你哥的两个小孩可以先由你父母或者外公外婆（如果你父母或者外公外婆尚在且有监护能力）监护；如果你父母或者外公外婆已去世或者没有监护能力，也可以由兄、姐监护，例如你作为弟弟可以监护；至于你哥是否精神病人，根据《中华人民共和国民事诉讼法》第一百七十七条、第一百八十八条、第一百八十九条规定，你或者你父母可以作为你哥的代理人，向你哥住所地的基层人民法院申请你哥为无民事行为能力人或者限制民事行为能力人，如果法院依法受理并经审理认为你哥确实属于无民事行为能力或者限制民事行为能力人的，则应当做出判决，根据该判决，由于你嫂子到处在外面勾搭男人，明显对你哥不利，你嫂子不适合做你哥的监护人，该监护义务应当由你父母承当；除非你父母已去世或者没有监护能力，如果是这样情况，则其他近亲属，例如兄弟姐妹、外公外婆也可以作为你哥的监护人，另外，关系密切的其他亲属、朋友愿意承担监护责任，经你哥所在单位或者你哥住所地的居民委员会、村民委员会同意的，也可以作为你哥的监护人。 我的补充： 2014-10-11 16:23

对于你哥的两个小孩如果你确实没有能力监护的，关系密切的其他亲属、朋友愿意承担监护责任，经未成年人的父、母的所在单位或者未成年人住所地的居民委员、村民委员会同意的，可以作为你哥两个小孩的监护人；如果对担任监护人有争议的，则由未成年人的父、母的所在单位或者未成年人住所地的居民委员会、村民委员会在近亲属中指定监护人，对指定监护人不服提起诉讼的，由人民法院裁决；如果没有前述的监护人的，由未成年人的父、母的所在单位或者未成年人住所地的居民委员会、村民委员会或者民政部门担任监护人。