我该何去何从

楼主是远嫁、跟孩子爸结婚后就一直没有工作，老公爸妈年纪有点老、而且就老公一个儿子，说实话我那时也挺心疼我老公的、一个人赚钱要全部人、那时在东莞打工还要租房子、就想在老家有个房子回去、可是到了儿子快3岁时一场意外让我对他有了很大的看法、那时他事业在低谷期、就在我们经济最困难时他出轨了、而且还想跟我离婚、当时儿子生病、家里开支什么都不管、只跟那个女的出去玩、楼主多伤心啊、当时我也选择放弃、在我跟他说同意离婚时他却一拖再拖、后来他店面全面卖了我们就回去他家生活了三个月、他不同意离婚后对我还像拍拖时那样好、那时我爸妈都说既然他肯回头就算了、不要再折腾了、苦了孩子、当时在他家生活了三个月、那简直是我人生最难熬的、人都变成黄脸婆、那种压抑、后来儿子上中班我就回娘家生活、那时爸妈也可怜我、看我回去瘦成这样、直到今年楼主二胎、凑成好字、原以为这是幸福的开始可是并不是这样的、女儿生出来第二天就去了新生儿科、当时顺产、三天出院回来坐月子、老公各种看我家不顺眼、煮个饭都说太晚了（他那边吃饭是十一点、我这边是十二点左右）又说我家人各种不是，楼主想到离婚，哪怕一个孩子不要我也想离婚，当时还闹的很凶，跟我爸妈吵、这不是第一次了，之前一次出轨已经吵过了，后来大家都把话题说开了就没有再吵，这两次吵架我都心很累，所以每次说回去他家生活我都很害怕，怕回去后还是找各种理由跟我吵架，楼主快三十了没有跟人吵过也不喜欢吵架，现在都不知道怎么办，好想就这样离婚，一人一个，但是老大也是楼主自己带大的舍不得