发现他第二次出轨没有摊牌但我已经不想过了想离婚

在宝宝六个月左右的时候发现老公在宝宝出生三个多月的时候已经出轨了，并且是一个比我大三岁离过婚带着女儿的人，当时我们因为这件事打过，在宝宝三个多月的时候他打过我一次我没有还手，当我发现他出轨以后我们就打架了，我当时打不过他就把他身上抓的都是伤口然后拿台灯砸的他，当时打完之后他说要和我离婚，我说我巴不得和你离婚然后他说儿子不给我让我净身出户，我说我什么都不要我只要离婚，然后当时说好第二天去明证局领证的，然后第二天他说什么都不去，又在家里面开始说我们之间的种种，拿儿子说事，还说再也不和那个女的联系这种事情再也不会犯了，然后在宝宝七个多月的时候半夜三点多有个人给他打电话，当时我就记住那个手机号了，然后我装睡，他偷偷跑出去接的电话，然后他回来我问他是谁，他说打错了，我说大半夜给你打电话还打错了，那我回过去问问他是谁，他当时就急了说我找事，我们就开始吵了，我了解他狗急跳墙说的就是他这样的人，然后他后来慢慢每天都是早上走晚上十一二点才回家，我一问他他就说忙，我基本上在家看孩子还出不去，中间我找过跑腿的帮我跟踪过他，发现他和一个女的很亲密，我用那个手机号搜过那女的微信，头像和他出轨的是同一个人，现在我是一刻不想和他过下去，但现在的婚姻法也不保护女性，即使他出轨也不会判他净身出户之类的，如果我要孩子他肯定不会给，但宝宝现在在哺乳期走法律程序肯定会判给我，但是我们俩之间没有共同财产，全都是负债，我还替他向我朋友借了几万块钱，他结婚之后干了好几个项目都是在赔钱，我现在也不知道该怎么办