一个月一次该怎么过？闺蜜说不出轨是我的错？

老公比我大6岁，我也27了，我们结婚7年了，孩子快3岁了，我在那方面欲望还是很强的，但是老公一个月几乎天天加班，每天凌晨1，2点回来，倒头就睡，偶尔有的那次还是我主动要的，每天晚上我都是一个人入睡的，对于这样的婚姻我也提出过分开过，自从孩子生出来后，老公对我几乎没欲望，我现在105斤，相貌也不差，走出去也像22岁的样子，老公自己也说是他的问题，这么多年了，在一起睡的日子加起来可能不到1年，我感觉自己快熬不住了…… 除开这个问题，我们之间也没别的矛盾，他赚钱比我多，在外面的时间自然要比我长，儿子他几乎没管过，公婆帮我们带孩子，生活其实还不算太差，我们有房有车，各自开各自的车上下班，但就是忍受不了他整晚不回家，或者半夜回家就倒头睡像个木头人，我是女人，我是个正常的女人，白天上班回来，晚上照顾完孩子就一个人了，孤单，寂寞，我有很多次想离婚的冲动，但是怕给孩子心理造成阴影，宝妈们，我该怎么继续过下去？