我是否应该离开他

老公44（办了酒席沒打证）结过两次婚，第一个恋爱到离婚10年，有一个女儿现在十岁了。第二个认识到离婚3年多。我28岁头婚（可能从小没有爸爸的原因比较喜欢比我大的成熟一点的男的有点恋父情结）之前两个人在一起的时候家人朋友全部反对，妈妈都要和我断绝母女关系了，不巧的事发现怀孕了（这是我第一次怀孕所以不想打掉舍不得），家人没办法只能顺着我。之前我一直在老家对他前面的事都无所谓，他和他女儿去玩呀，吃饭呀也是应该的，后来以为要保胎就跟他一起来到上海了，发现我们吵架越来越多，原因就是他前妻有事没事问要钱，还两个人陪女儿过生日，拍全家福。我不知道别人受不受得了，反正我是受不了，只有他和他女儿我就没什么。他前妻一直没有再婚，听别人说好想想复婚。第一个买了两套房在上海全给她了，第二个买了一套房上海的也给她了，到我什么也没有，我自己在老家买了一套房子，他们家还还说我这么小又没结过婚和他在一起肯定是想骗他的钱，呵呵。。。因为现在住的环境太差（住工厂里）想到小孩出生不想让她住这里叫他买房子他就说没钱，从认识到现在，基本都不怎么花他的钱，出去干嘛都是自己抢单，说给我买什么我觉得浪漫不要，到现在就给我买过一个结婚戒指。晚上做梦老是梦到他和前妻复婚，老梦到房子，现在看手机什么的有房子的新闻或别人说到房子我就好烦躁，主要是他前面两个都有到我就没有，而且第二个也是二婚，心理好不平衡。我现在没有一点安全感不知道怎么办，宝宝已经7个月，真的怀疑他是因为小孩才和我在一起的，这样的话小孩生下来是不是应该自己带？