老公这样算出轨吗？我该怎么办？

老公39岁，是公务员，我35岁，个体户，目前在家带孩子，我们结婚十年了，大女儿十岁，小的双胞胎女儿才三个月，十年的婚姻生活，不算如胶似漆，但也就这样过来了，我们从二胎怀孕开始，就基本没有过性生活了，因为是双胞胎，怕伤着孩子，一直到生完孩子出了月子，他问我什么时候可以，我说医生说两个月以后（剖腹产）吧，他说还是三个月以后吧，早了对你身体不好。因为带两个孩子很累虽然有婆婆帮忙做饭做家务，也没注意其他问题，他上班也确实忙，渐渐的我发现我们之间说的话越来越少，他早上去上班，下班要么应酬没回来吃饭，要么回来了也是玩手机，主要是打游戏和看小说，要么就是喝了酒回来的，我都没在意，直到有一天他抱着孩子看电视，有人给他发视频，他拿出来看了就把视频挂了，然后抱着孩子去了卧室，晚上我起来喂完奶粉睡不着，就拿他的手机看看是谁给他发的视频，发现他把那个记录删掉了，我看他的红包记录，看到去年的11月份他生日那天有个女的发了39元红包给他，留言是生日快乐！要开心哦！然后今年2月11号他发了52元红包给这个女的，留言是默认的恭喜发财，大吉大利。大概在3月份，这女的又发了5.2元给我老公，留言是三个亲亲的表情，当时我一看就火大了，我在家累死累活带孩子也没见他发一分钱给我，倒把钱拿去发给别的女人！虽然数目不大，但是赤裸裸的在搞暧昧！于是我没说红包的事情，就把这个女的的微信找出来，问她是谁，他当时脸色有点不对，说不认识！我说不认识你为什么发红包给她，还发52，是什么意思，他就说什么意思都没有，是前段时间收了人家红包现在还给她的，我问为什么要发52？他就说我闹，拿了手机就走了去上班了，后来我查出来那女的是他们政府下属旅游投资公司的小职员，才20来岁，我打电话电话问他说他没有做对不起我的事情，随我怎么想，还说红包的事情如果我不相信她，他可以叫那个女的打电话给我解释！婆婆知道了我们吵架，打电话给他说如果我们俩要闹，就喊他自己请人带孩子，她不带了。然后我几天没有和他说话，没理他，有一天主动打电话给我说要回来吃饭，我才跟他说了一句话，那时候我真的很气，离婚的心都有了，我说我们的婚姻出问题了，是不是好好谈一谈，他说没有出问题，他跟那个女的只是聊聊天而已，什么也没有发生，我问他那么我们还要不要继续过下去，他说要啊，我说既然要过，就好好过，不要在外面玩花花肠子，从那以后他回来吃饭的次数多了，下班回来得要早些了，对我也稍微关心点了，昨天中午他喝醉了睡觉，让我把手机跟拿去他充电，我刚拿到手机，就有短信，我一看是那女的发的：书记，你在办公室还是回家了？我回复说：回家了，有事吗？她回复：哎，小事情，改天再向你汇报。晚饭后，发现他把这几条信息删掉了！真不知道他到底是什么意思，我感觉他虽然肉体没有出轨，但是精神已经出轨了，夫妻之间如果没有了信任，还有什么意思，我也不想天天揪着他不放，天天翻他的手机看，但是我每次看他手机都能看出来毛病，他手机又从来不锁，我让他把工资卡交给我，也给了，除了每周值一天班其余每天都回来了的，夫妻生活也比较正常，但是我总觉得心里不舒服，总觉得他俩会不会有什么事情，都不知道该怎么办，俩孩子又还小，我都快得抑郁症了，写这篇帖子，杂乱无章，只想找一个倾诉的出口，憋在心里太难受了，望各位围观后各抒己见，发表意见。