想离婚，舍不得孩子怎么办

最近和老公在闹离婚，他总是喜欢和别的女人七聊八聊的，这种问题吵过不知道几次了，后来昨天我发现从上个月中开始有个女的每天都会给他打电话，然后我就问他是什么人，他就说是朋友，就跟我急。今天跟我谈离婚，我因为考虑到宝宝小就没同意，他说拖着干嘛，最后结局都一样，我说虽然结局一样，但是现在小孩太小，我不同意离婚，小孩还在我身边我拖着我乐意，反正哪个在外面有人哪个急，你急就去法院起诉吧。他又不去，就说看哪个能拖过哪个。宝妈们，我到底该怎么办，我心里清楚和他过得根本不幸福，但是我舍不得小孩，小孩给我，我家没人带，而且还让他家人快活了，给他吧我又舍不得，真的只能这么拖下去么？