老公很在乎前妻，我该怎么办！

我和老公结婚三年有个孩子一岁半，自从和他结婚后我发现我和他唯一能吵架的事情都有关他前妻，最近发生了一件动手打架的事情还是有她前妻有关、事情是这样的... 上周星期六中午我们在吃饭突然她女儿的手机响了（女儿是他和他前妻所生）她女儿接完电话说妈妈在小区门口等我接我去她家玩，听完这话后我老公很快吃完饭放下筷子就说我去小区里散散步，说着就下楼了这时我想起我答应朋友下午去朋友家里玩，我就跑到阳台上喊他本意是想告诉他别走远了等我洗完碗后我们去朋友家里可我走到阳台才发现我老公直奔小区门口去了，我就喊住他你要去哪里我们下午还要去朋友家他听见我喊他他就上楼了，他刚进屋我婆婆说你们有事你们去忙碗我来洗，我就让他抱着儿子下楼可是一下楼他就往小区里面走，我就问他你要干什么车停在小区门口、他说他前妻在小区门口等她们走了我们在走不然出去碰见很尴尬，听他这么说后我想也是、我就说你抱孩子去后门等我我去开车在后门接你们反正你前妻我们互相不认识，他理也不理我黑着脸就往小区里面走我看见车钥匙他拿在手上我就去抢钥匙、他一把就把我推倒在地上、然后我们就大战一场、打完架后他让我爬让我滚，我就抱着儿子回娘家了、回家后给我闺蜜打电话诉苦，我闺蜜劝我看在孩子的份上不要闹的太僵我想也是就主动打电话给他说了今天事情怎么样怎么样的，最后我就问他比如以后再碰见今天的情况你会和我一起大大方方的见你前妻吗，结果他说我知道你想让我说什么如果我说下次碰到的话我们一起去见她你倒是听了心里舒服可那样说的话我心里不舒服，你要在这样我对你仅有的愧疚感都没有了、听完这话我的一下子凉了一大截，离婚离婚再也不想这样过了至少给自己留些尊严，给位不怪我自私把不考虑孩子？