老公接到前女友电话，别人还想约他出去见面？该怎么做

老公以前谈了一个离异的老女人，比他大很多岁，结婚之前我知道这事。我想着这没什么，谁没有点往事。 3个月前，一天晚上，老公接到对方电话，对方以请老公帮忙为由想约他见面，老公没答应。我听到电话问是谁，他半天不做声，还编理由。过了两天才说是谁。我当时很生气，说你应该很别人说清楚，你结婚了，马上要当爹了，让别人不要打扰你。他说嗯。 今天早上，相同的一幕又发生了，别人说来到我们区办事，约老公出去见面，还说了地点，老公说没时间。刚好我在旁边，对话听的一清二楚。我又说你怎么又这样回答，然后让他回过去说清楚。结果他回过去，只说自己没时间，其他一切没说，我生气了，直接拿过手机问对方想干嘛，最后还骂了人家让人家滚蛋就挂电话了。我真的气死了。我这么做的对吗，到底应该怎么做？从来没有过这么复杂的感情，觉得老公就是故意敷衍我。感觉看他看走眼了，突然萌生了离婚的想法。我说过，如果我的感情里出现了第三者，我一定会主动退出的。