新同时帮两个儿子（我老公和他弟弟）带小孩，婆婆公公住到我家？

我家宝宝15年8月出生，我休完产假婆婆就从老家过来给我们带小孩。原本她是在家还在镇上工厂打工，每月有三四千的收入。我老公坚持不把小孩放老家。最后等于她跟我们妥协。因为这个我对她很是感激，也有歉意。因为她算是对我们有所牺牲（虽然那个厂子今年也倒掉了）。并且我老公还有个弟弟，家里两个女儿，虽然也照顾着，但没耽误她一天上班（老公弟弟弟媳也没稳定工作，家就安在老家，小孩基本是放老家，他们外出打工。我和老公工作相对稳定，而且在这边买了房子，小孩不想放在家里）。公公工作很轻松，不用坐班，时间自由。带俩小孩多点。 后来说让大侄女过来这边上小学，跟我们生活在一起，奶奶能一起照看下。想想只给老大家带，不管老二家的也不行。婆婆也不是我一个人婆婆，我也就没说什么就让过来上学了，在一起到现在住了近一年。16年秋天公公因为政策提前退休。想着在家没事，婆婆想让他到这边找点事做做。公公过来的话，我是感觉人有点多太挤（我们一大家住的一套小三房是租的，新房装修还在散散味。）但婆婆都开口了，也不好驳她这面子。也过来了。（大侄女到我们这之后，小侄女由老二家的带着去到小孩爸爸那了，全职带小孩，不上班，顺便照顾下小孩爸爸生活。当初不放心让公公带，要自己带）。 九月份小侄女马上可以上小班了，她们想着也带过来上学也一起照看下，老二家的就可以上班（我婆婆一起照顾小孩可以，不过不希望老二家的来这边上班，就让她就在那边看看他二儿子，攒点钱啥的）。 来了以后就有一个问题，是不是还要住一起？ 新房子首付四分之三是我家出的（我的存款加上我爸妈又赞助我一部分，算做嫁妆，他爸妈家里因为他爸前两年做心脏搭桥手术，还有债务，没有钱出。只给了两万。加上我老公手几万存款。凑了首付。） 不过儿子刚装了新房不久，就让老的出去住，有点说不过去？？尤其不能对婆婆这样啊。如果单两老的在这边，没意见。如果只是老大在这边，懂点事不太会吵，就我宝宝闹点，我也能接受。他们后面都会上班了，小孩都在这，老二家小的三岁，我家宝宝两岁，三个小孩在一起起反应，估计要把屋顶掀了吧？想着在那种环境里待着，不知何时了，我想着鸡皮疙瘩就起来了。简直要崩溃！！我也没义务帮老二家的分担这些吧？？ 所以我想着，小孩过来行，但不能住一起，两家各出一半钱给他们租房子住。我上班把宝宝送过去，下班接宝宝回来。 大家认为我的想法会不会很自私？大家都怎么看？