奇葩老公公

前提，大年初一我带四个月大宝宝去他爷爷家，毫无征兆公公酒后这样说我：你的脾气性格让这个家不团结，（他子女五个，我在外地上班，兄妹间完全没有瓜葛，我家是老五，三姐，一哥，人家几个对我不错）你让我挣不了钱，我也让你赚不到钱（公公去我单位当半年门卫，他想年后让婆婆带着我孩也当个门卫，我们单位两个门，我不同意，让婆婆专门带孩）不让婆婆看门，我的孩也不带了，不管了，当时我也说的是理话没发飙，年后他还看门，我上班，婆婆领孩，结果他们俩带孩出去出车祸了，当时可严重，孩也重伤，索性现在都好了，出事一年了我自己一个人带孩，婚后我们小两口买的房，现在快交工了，老公公想到时候和我们一起住，（他们俩租十几年的房了），我是十万个不愿意，怎么拒绝他们一大家人，亲爱的们，帮个忙，我该怎么说？