该离开吗？

我和老公认识四年了，现在快生了，在认识三年的时候，我俩吵过最激烈的一次就是，他肉体上出轨了，和一个网上的老女人，三十多岁，离过婚，带着一个男孩，当时，我太傻了，苦苦等待着他回头，大约过了一个月，他给我打电话了，我原谅了他。虽说原谅，心里也是有道坎，总是时不时的想起来，心痛。过了一年我们结婚了，我也怀孕了，最近老是想起，真心受不了他，想解脱，快点离开他，可是肚子里还有几天就出生的孩子，我到底该怎么办？