新孩子跟着奶奶跟跟着爸妈会差多少？

儿子断奶后就要被带回婆婆家了，原因是公公一个人在家太忙，而我自己要上班。很不理解的是老公也支持孩子回老家。他觉得我不太他爸爸着想，我觉得不为我儿子着想。一提到这个就吵架。心里万分不舍，却又说不过他们。怎么办呢？