新一个被自己家人都嫌弃的男人

前两年我跟老公结婚的时候可以说什么都没有，连结婚的钱都是我们自己借的。他爸今年53了，这一辈子什么都没有，房子没有，存款没有，保险也没有，工作也没有稳定的，以后也没养老金，他爸是家中老大，爷爷，二叔，小姑都不喜欢跟他爸处一起，没有朋友，还觉得自己特了不起的那种。不让他妈跟娘家人有太多往来，好像觉得他妈对娘家人好了。经常说钱算啥子，生不带来死不带去的，要那么多没用，当他妈找他爸拿钱的时候就说 莫跟我说那些！怀二宝的时候问家里人的意见，他妈就说了以后跟我带小孩，他爸就说有了肯定就生了塞，我老公也想要二宝，我们想着前面几年苦点，后面日子肯定会好起来的，老公也开始很努力工作。他爸出去打工才三个月就跑回来了，说家里需要男人有撑起，钱又挣不完的，回来想去小区当保安，2000一个月不管吃不管住的（他爸一人的饭量相当于我跟他妈两人的量），还说60岁以后就不工作了，他有儿子（他身体比我老公还好）。前几天从娘家回来，看见他爸我心里就堵的慌，这两天心情一直不好，他爸手里有钱，昨天他妈找他爸拿钱买米，他居然还吼他妈，说没钱！今天我们出去给孩子买衣服，他爸在家，一点过没回来不打电话问也就算了，回家还是冷锅冷灶，真是家里还不如没这么个人，眼不见心不烦。后天外婆过生，让他爸拿200送礼，居然说家里没那么多钱去养***娘家人。我看着来气，他妈还宽慰我说都几十年了他爸就是那样的人，别把自己气到了。他妈人特别好，特贤惠，对我比对自己女儿还好，所以我也心疼他妈，几十年和这样的人怎么过下来的，动不动两句话就把他妈吼起，越没本事的男人脾气越大。晚上跟老公打电话说了，他表示也看不惯他爸，但也不可能不让他爸跟我们住一起，他们家就他一个儿子，还有一个姐姐。我该怎么做？确实看到他爸心烦