这样的婚姻我该怎么办，好害怕

我们结婚四年了，有俩个孩子大的三岁，小的八个月！因为之前结婚怀孕的时候我就在老家待着，他在城里做生意，有房有车，他家的条件也可以，但当时我不知我是怎么想的就选择在老家，和他长期分开，导致现在的我们没有共同语言！现在俩个孩子爷爷奶奶带，我上来和他住在一起，去他店里上班，但每天下了班他就玩他的手机，也不愿意多和我说一句话，而且最近我发现他好像在外面对别的女人动了情，而且好像还是他们的同学，常出去玩都是半夜三更的才到家，但是我又没确凿的证据，昨天我们又吵架了，他在开车，因为这俩天我怀疑的那个是一直在我心里，我看他心情不好，就会让我想起会不会是因为他们同学心情不好，不知是因为我太敏感了还是什么，当时他表嫂就坐在车后排，我就说他怎么愁眉苦脸的，然后他不说话，我就说哎哟是不是要哭了，这句话就惹到他了，当时他就冲我吼我们就吵了几句，他没吵了我就来句得批脸了，他就说你再说一句，赌着那口气我又说了，当时他就动手打了我，他就打我耳光，我就坐在副驾驶我们俩就扭打起来，还是他表嫂拉开的，以前我们也经常吵架但从来没动过手。但因为我也在乎这个家，也在乎他，最主要的还是比较可怜俩个孩子！所以后面冷静下来我主动找他谈了，还轻轻巧巧的就谈好了！我该怎么办，这样他以后会不会变得变本加厉，以后出去玩会不会整夜都不回家，我不想失去这个家但又好害怕好害怕，我该怎么办？