二婚是不是多很难

前年结束了跟前夫有名无实的婚姻，有个八岁的女儿跟我自己，离婚的时候我什么多没要，只要女儿，连抚养费多没要，因为女儿从小就是我自己跟我妈妈带大的，离婚后，我妈妈怕我年龄大了不好嫁，老了没人陪，天天这相亲那相亲，去年碰到了现在这个丈夫，他也是离婚的有个儿子，他跟他前妻在外面做生意赔了好多钱，他前妻出轨一个比她自己大二十多岁的老头，事情败露了也就离了，所有的债务多他自己承担，离婚协议说好的他前妻出抚养费的，离婚后那个老头又不要她了，所以这两年一分钱多没给。去年的时候我女儿跟他儿子多是在老家他妈妈带的，我女儿是比较会撒娇，脾气有点大，我也知道难带，开始的时候他说欠了五十多万，我也没在意，去年年底的时候才知道有七十多万，连以前他前妻家拿的钱做生意的他也在还，去年年底钱转不动，我帮他借了三十六万，两夫妻该承担的还是要承担，对吧。今年正月的时候我怀孕了，我是打算不要的，家里负担太重，不过他跟他妈妈轮番说情也就留下来了，他跟他家人说实在多对我挺好的，今年正月开始他前妻老是往老家跑，虽然我们不在家，说是去看她儿子，以前多没联系的，可能是我没注意吧，今年怀孕了特敏感吧，看着他们联系我就不舒服，心情就很郁闷，我也知道孕妇不能生气，今年三月份，我女儿跟他儿子吵架，我女儿回我妈家啦，就在也没去他家了，我们两家走路也只要二十分钟左右。反正我爸我妈对我女儿很好的，女儿我不担心。四月份的时候他生日，他前妻还发信息给他，聊的还挺开心，他前妻的家人也个个还信息给他，这些多是我拿他手机看到的，他手机密码我也知道，他自己告诉我的，我知道他跟他前妻是不可能啦，我就是心里不舒服，前段时间我把他跟他前妻的合照，他前妻的照片全扔了，他说留给他儿子以后看看，我偏不留，随着怀孕的月份越大，心情更不好，又不敢跟身边的人说，也不敢跟家人说，不让他们联系肯定是不可能的，好矛盾，有什么好的解决方法吗