大家来出出主意

老公兄弟两个，他哥家房子和我家房子都是两室一厅，他们是一楼，我们是六楼（没电梯），不在一个小区，都是公婆买的。公婆的房子是三室一厅的，也是一楼，格局比较小。当初结婚时，公婆说将来把一楼他们住的房子也给我们，不让告诉他哥和他嫂子六楼是买的，就说是我们租的房子。他哥是个不成器的人，四十多岁了，光我们结婚这两年多我就见他回来问公婆要了将近两万块钱，他嫂子老说他们没钱，很精明。（事实上是他们俩人都上班，只有一个女儿上初一，还未上辅导班。）现在的问题是，前段时间公公去世了，婆婆想让我们搬回去住，但是婆婆是个不怎么爱干净的人，还爱去捡垃圾卖钱，而且，老公姐姐家的孩子（他家在农村）婆婆在带着，七八岁了不会说话，整天哇啦哇啦叫，而且也不听话，我若训他也不合适。可是我家宝宝马上一岁了，在学话敏感期，我怕住一起对他有不好的影响。但不搬回去，他嫂子还想搬回去呢。。怎么办？？？