想离家出走，但是有舍不孩子

我老公是在工地上班，一个星期也就回来一次，就是晚上回来第二天又早早的走了，有时候白天孩子想他给他打电话，他总是说忙，不接电话。渐渐的就感觉他对家庭和孩子付出的太少了。最近新房在装修，他弟弟和老爸都在我家吃饭，我早上一直带着大宝有睡懒觉的习惯。导火线就是今天晚上他回来没把家里的钥匙给他爸留一把，那样明天早上一大早我还要起床到楼下去给他们开门（住的楼下有门禁），就说了他几句，他说我懒非要让我早上起来做饭，我说你明天早上走的时候把粥熬上，有咸鸡蛋他们不就可以吃了……他说难道让我爸给你做饭，真的是不肯理喻，我根本不是那个意思。然后他就哭着给他爸打电话说不让他爸过来吃饭了，在外面买着吃，我那个气啊，我最讨厌的就是夫妻吵架惊动父母的，再说他爸会怎么想。孩子一直都是我一个人在带，现在怀二胎他一点不理解我也不关心我，真的觉得挺累的。我想离家出走一是觉得该给他个教训，再就是想让他明白对家庭和孩子的责任。但是我确放心不下我家大宝，我该怎么办？