简直快过不下去了

结婚两年了，在老家结完婚我们俩就直接出去工作了，却没有住在一起，后来无意间发现他和一个女的暧昧，问过他，才发现他们已经认识一年多了，当时我是想放弃这段婚姻的，但是他跟我承认错误的态度跟诚恳，就那么原谅他了。 但是现在我怀孕了，从怀孕一个多月开始就没在上班，之前没怀孕的时候他的工资就从来没给过我，结婚之后我也是没花过他的一分钱。都是花我自己挣的。现在我不能出去上班了，从我回老家养胎开始两个半月他就给我打了一千块钱，我一直是在我妈家住，偶尔回他家待几天，他是十五号发工资，这几天我给他打电话要钱他说还没发工资，我不相信，，，就吵了起来，他就说很烦我。我内心是接受不了自己的丈夫居然亲口说烦我的，宝妈们，我该怎么办