各位亲看看真的是我想得太多了吗？

我和我老公是从2010年自由恋爱到2013年结婚了，有一个2岁7个月的儿子，现在怀着二胎36周加了，我老公是广西的我是广东，我们俩的感情也是经常吵吵闹闹。但是每次吵都是因为他去赌，我们现在是自己做水果生意的，今年一直以来他都是没有去赌过因为现在天气变冷了没有什么人。现在每天都是麻将房打麻将打到天亮，我非常不同意他这样子做。然后我就说了声，白天你怎么打都可以晚上他打到天亮就不行，我忍受不了。因为有一天他回来说从今天晚上开始最晚的时候也就是1点半到两点半，可是就当天晚上十一点钟回来过。后面连续几个晚上都是打到天亮的，然后我就发信息说他，打到天亮我忍受不了，每天晚上你没有回来我都睡不着。他回信息说，你想那么多干什么？那我晚上去拿货的时候你怎么又可以睡得着，我打麻将打到天亮，你就睡不着觉，什么事你都想的太天真了。你说什么我就要做什么事吧！说的我都不想再说了。你这样的话等生完小孩我们再说好吗，第二天早上回来之后。他又在那里说。你每天在那里想东想西的。好好照顾自己跟小孩就行了，想那么多干什么？如果你在这样子的话你应该考虑下生完小孩之后，该不该在一起？他说他考虑不要在一起。其实各位亲，我不是说不让他打麻将。而是我压根不喜欢他打到天亮，可能我心里就是怕他在外面乱搞。但是结婚以来我一直都没有发现过他出轨！他们那边的人都喜欢爱赌，而且他们在那里赌全是老乡。每天早上7点多钟准时回来。赢了钱他也会给我，各位亲帮我想想，我该怎么办？难道这是我的错吗？是真的我想的太多了吗？