关于娘家人的关系该怎么处理

我跟老公相处三年后结婚的，他人很老实，有什么事喜欢闷在心里不喜欢沟通，我爸妈平常对我老公比较满意，因为他和他爸妈对我也很好，自从我娘家弟弟做生意就出现矛盾了，我弟脾气不太好，说话有时候很伤人，我老公去他那给他打工，两个人性格完全不一样，我老公感觉合不来上了两年的班就不想去了，但我爸爸妈妈，我弟都不让他走，如果他强行离开我爸我弟就说我老公人不行，说我弟做得不对可以提出来我弟可以改，我弟知道我老公想走因为他脾气不好他也说会改，但是还是说话不经过大脑，现在我夹在中间心情也不好，两方都想顾及，心有余力不足 ，我弟脾气改不了，我老公在那心情压抑也不开心，现在我老公想离开我爸就说去哪上班不受气，让我老公忍着点之类的，感觉我老公有时候犯错我弟说话好难听，一点也没拿他是姐夫看待，时间久了他就越来越不愿意跟我弟说话，我该怎么办？如果我老公走了我娘家人也愿意，我老公说在我弟那打工一点尊严都没有，我都感觉不该跟他结婚，他所有的忍都是为了我我该怎么办