应该怎么对付奇葩公公呢

大家都是婆媳问题，而我刚好是遇到了一个无赖公公。胆小怕事，没有担当，更没有责任感，用婆婆的话说，之前我老公还小的时候家里穷，他从来都是自己一个人吃饱，不管婆婆和我老公。我和老公打算结婚时，打算买房子，他没有钱，也借不到钱，他那一副无赖的样子根本没人借钱给他，后来还是问我妈借了钱付了首付。我心里当时就很烦他，一个大男人活到他这种地步也真是够够的。我们结婚时酒水钱都是我老公自己的存款。我们结婚的第二年我小姑子要结婚了，那个无赖公公让我们出1万5给小姑子买嫁妆，看在我婆婆的份上，看在小姑子无辜的份上，我们钱也拿了。结果他每年出去打工都不好好干活挣钱还债（之前他自己家里盖房子欠的钱），上半年基本不做事，天天捯饬古董，然后就是买个彩票玩玩，一年当中也只有下半年干几个月的活。小姑子一家根本看不起这个亲家，致使小姑子经常受气，人家经常拿她爸说事。我婆婆没有文化，根本管不了他。今年过年回来，他不仅不去干活，又张口问我们借钱买古董，我又刚好怀孕了，手里的钱也不多，我老公就劝他好好干活，不要在弄古董了，他一听不借钱给他立马要和我们断绝关系，不在来往。我当时肺都要气炸了，从来都是没有为儿女考虑过，只要他一个人过得爽就行，这样的人我真的没见过！我就用老公的手机给他发微信解释，没想到他说是我不让借钱的，以后在也不来我家。我真的是忍到了极点，他妈的我怀孕以后他一句话都没关心过，张嘴就是借钱，还要断绝关系，断就断吧，反正这样的人我以后再也不想见到。 我现在就担心他以后还会再来打扰我们的生活，不是借钱就是找别的事。等我们宝宝出生了，我婆婆要过来带孩子，他会不会也借机赖在我家伤害我的孩子？我该怎么办呢？请大家给我出出主意。全家就他一个人这样不正混。