怎么跟公婆说不想跟她们住在一起

我宁愿住个小点的房子也不想和他们住在一起，刚买了房子，婆婆就说要跟着我们，难道他们老家没房子吗？现在还要把宝宝带到老家，我已经跟她们明说了，我舍不得。我一个月就接走，还不是看在过年没回老家，才回来的吗？如果一个月不让我带走，我偷偷的走，我抢，我也要带走。我也跟老公明说了，我不想住在一起，矛盾太多。那边房子好了，你不要让咱妈跟着，他说不能一天都不让住啊，我说不能长时间，他说冬天的时候住，哎。万一住着不回去了怎么办。我也可以不上班。在老家我们住二楼，婆婆住一楼，要是给我们盖个房子我也不用买房子，这个房子盖的也是新的，所以他们怎么可能盖。走哪里都摆脱不了和他们住在一起吗？我真的压抑到死。家里还一个小姑子没结婚。