要我们一家三口去大姑姐家住太尴尬

老公家里两个孩子，他还有一个姐姐，比我们大三岁，几年前离婚了，离婚后和当时谈的男朋友生了一个女儿（南方很多都是生完孩子再办婚礼），结果这个男朋友不靠谱，跑了，她等于说是单亲妈妈，但属于自己还比较爱玩儿，也不怎么会带孩子，所以孩子是送到保姆那里带大的，家里人比较宠她，有点儿宠坏了，任性脾气大，我大姑姐用负心男留下的钱买了一套房子一直也没住，自己在外面租的房子住。到我们结婚的时候因为当时他们家大钱都压在生意上了，我爸妈也没有把房子作为硬性条件，所以双方协商决定不用买新房子，可以和她爸妈一起住，和大姑姐关系也还不错，今年我们家宝宝也一岁了，大姑姐的房子开始装修的时候，我老公跟我说我们都是年轻人，姐姐家房子也挺大，咱们可以住在一起。我当时听了就觉得不可思议，我就觉得关系好归关系好，大姑姐带着孩子回来娘家住多久我都觉得没关系，很正常，但是让我们一家三口住在大姑姐家，我怎么想都想不通，有很多不可避免的问题会出来，而且她以后肯定要找个人嫁了的，到时候更尴尬，再加上外甥女很任性脾气大，说也不是不说也不是，我也不想让我们家孩子受委屈或者有个这样的榜样，大家说说是我太矫情了，应不应该住在一起？