这样的老公我该怎么办？

我和老公以前感情非常好，生完孩子感情也很好，我就在家专职带孩子，孩子一岁多的时候老公有外遇，是他的初恋，当时他爸爸病了，我们是个体，生意也出现了问题我就原谅了他，他们一直断断续续的打电话联系，这段时间我们一直分居，他说对我没兴趣，我抓不住他的心，我们天天吵架，他也不离婚也不让我走，我属于为了爱情放弃一切的那种傻（我的娘家，我的朋友，亲人。和他来到他的家）他和我说了，他想要家庭又想要情人，我快被他逼疯了，我要怎么办？离婚吗？现在也是他生意最难的时候，想着帮帮他，他要有钱对我这样我扭头都走了，头都大了。