新不被人理解的，所谓的“无理取闹”

我和老公都是二婚。他和我之前都有孩子。我家里人都知道我和他的事，也接受他。他对我也好，但是在一起一年半了，和他之前就做过一次人流，现在怀孕四个月，我们都想留着宝宝。他却始终不敢给家里提及我的存在。。。一直以来我都能理解他怕家里孩子老人都接受不了，但是肚子一天天大，我搞不明白什么才是他目前应该考虑顾及的。最近提及他想回家看与前妻的孩子。但是他却以孩子不知道，老人不知道我们在一起为由，说回去要和他前妻住同一屋檐，我很不理解他的做法。可他只觉得是我在无理取闹。。。我该怎么办？