远嫁的娘娘们，我该如何抉择？

先交代背景吧，我和老公认识6年，结婚4年，我从2014年怀孩子就全职妈妈了，平时在上海工作，我安徽的，距离上海400公里，市里的，我老公老家湖南农村，距离上海1200多公里，比较远，老家有自建房，只有一层，我公公盖的，已经10多年了。我们结婚是没有房子的，大宝一岁多，就是去年10月份在我老家买的现房，12月装修好，今年7月份由于我二胎了，目前在老家养胎外加考驾驶证，我老公工作比较自由，目前也在老家！现在问题来了，我老公成天念叨着卖了房子去湖南买房子，那里才是他的家，而我，是不愿意去的，谁想去那么远的地方呢？而且湖南离上海太远，将来我们上海工作，孩子要回老家念书，谁带他呢，我只有公公，70了，还有病！我既不想去湖南又不想因为房子的事和老公不开心，我该怎么办呢