家公挑事，让我们的婚姻举步维艰

我们结婚的时候他家人不同意，但我们坚持还是把事办了，但是两家人中间还是有矛盾，结婚之后他妈妈对我很好，他爸爸我们平常不怎么交流，但是喝了酒之后他就会说我和我娘家人这不好那不好，我老公护着我和他吵，各种吵各种打，我们结婚三年多了，这样的事发生的太多了，我也为了不让老公为难小心翼翼的过着，上个月我们有了二宝，我娘家人在外地没回来，说是满月宴客的时候再回来，可他爸就受不了了，打电话把我爸妈骂了一通，说我爸妈狗屁不通，是混蛋，我妈气的都生病了，我老公跟我说出去住，但是前天晚上他又跟我说如果出去住了他们就没有父子情份了，言下之意就是不值得这么做，我现在很为难，我家人这次肯定不会再跟他爸妈来往了，说白了他爸就是看不上我，不会让我们过舒心日子的，即使搬出去还是会有矛盾，而且我现在也不确定我老公愿不愿意搬出去住，很矛盾，我想一走了之，就是舍不得孩子，大宝两岁多，小宝才十几天，在月子里他惹这么大气，我也真的寒心了，我该怎么办，麻烦大家给个看法