是不是我多想了

怀孕6个多月了，期间我们也有性生活，只是比较少，一个月5次吧，但是有好几次都发现他内裤上有残留的精液痕迹，那几次我们根本就没有啪啪，昨天又发现有，可是我们17号才啪啪了，内裤上根本就不可能有的，第一次和第二次发现的时候有和他闹够，为此他还说要和我离婚，他每次都很晚回家，怀孕这么久了从来不关心我。我该怎么办，有段时间他早早的回家，内裤上就没有，只要每次很晚回家内裤上几乎都会有，真的是我多疑吗？感觉好难受，怀孕到现在根本没有睡过一个安稳觉，每晚都睡眠，再这样下去都要崩溃了