到底要不要离婚

快要生宝宝的时候老公背着我去了前女友家，打电话不接，发信息不回，现在宝宝刚刚45天，昨天晚上他骗我说出去买东西，谁知他又背着我去前女友家，刚开始问他回来没有，他说马上就来了，后来一直没有来，又问他，他就连信息都不回，打电话也不接，一夜没回来，到今天早上才回来，我问他去哪了，他一句话不说，可是那个女的又打电话给他，因为当时我在他没接，到中午吃饭的时候那个女的又打电话叫他出去吃饭，他说不去了。我跟他理论，他说我无理取闹，不讲道理。我想离婚，可是孩子还小，我该怎么办？