大家说说我该怎么办

我和我老公是去年结婚的（但认识很久了）现在怀孕5个月了，我的婆婆家是两个儿子，我老公是小儿子，他哥大他3岁，大概初中毕业就出来工作了，现在已经成家有一个男孩，孩子5岁多了，幼儿园学前班都是在嫂子娘家读的(学费生活费什么的应该是哥嫂出的)，婆婆在工地做辅工，赚点钱自己家用（公公在我老公读大一的时候突然去世了) 去年两兄弟都在镇上买了房子，都是自己存的钱出首付，然后按揭的，哥嫂家的房子今年已经装修好了(哥嫂两人都在外工作，房子是婆婆在家盯着装修的)，我们的房子是我们俩怀孕辞职回来后装修的，现在正在装修，我知道婆婆一个人不容易，是做事的辛苦人，老公也不可能留她妈一个人住在农村老家（老家离街上不是很远，是那种很常见的两层楼），我们两家房子装修好后婆婆是要跟着一起去街上住的，因为我现在怀孕，生了之后一个人看不来，所以婆婆估计是先住到我们家，明年我老公是要出去工作的，哥嫂还想在外工作，但要把孩子送回来上一年级，所以想住到我家来，我老公竟然没意见，可我不想，结婚首付装修都是我和老公自己辛苦攒的钱，每月还要还房贷，现在小孩快要出生了，好不容易有个自己的新家，婆婆带着侄子一起住进来，很不开心，大家说说我该同意吗？拒绝的话会不会很过分？