老公在我月子期间出轨，要不要离婚？

有两个宝宝，儿子。大的两岁半，小的四十天，发现老公在我月子期间出轨一个四十多岁女人，而且微信还没删，骗我说找的小姐，平时对我还可以，我花钱他从来不说，出去会给我买我喜欢吃的东西，睡觉我蹬被子他会给我盖好，平时生活中也比较照顾我，现在很矛盾，很想离婚，但是一看到两个宝宝，大的是我一手领大的，从未离开过我一天，就不知道怎么办了