我的生活被我爸爸和婆婆搅乱

我和我老公是父母介绍认识的，当时我爸爸和我婆婆在同一个厂里上班，后来介绍我和我老公认识，没多久我们就结婚了。婚后不久我就怀孕了生了一个女儿大家都很高兴，可是在我女儿周岁左右，我妈妈去我爸爸厂里竟然遇到我婆婆躺在我爸爸的床上，（早上6点多），这件事在我家就像炸开锅吵架天天有，我不知道怎么去面对我老公和他爸爸，我老公的爸爸是个老实人老实的不得了，公公知道了以后就当作不知道叫我婆婆不要再犯这样的错会让儿子和媳妇抬不起头来做人，我婆婆不听，我娘家那边也叫我爸爸别这样下去他也不听，我哥为了这事还差点和我爸爸打起来，现在我两边亲戚都知道这样的事情我真的抬不起头做人，好想搬到外面住，可是经济条件不好，我该怎么办？