新我该不该把小孩带在自己的身边睡

孩子的爷爷特别爱我们的小孩，月子刚过就把我们接到家里住！并且说晚上不要我们带孩子，第一天和第二天孩子到了晚上总是哭闹不止。我还以为是不适应新的环境！没有特别在意。因为月子夜里一直休息不好！所以也特别想能够在夜里好好休息。第三天孩子一直闹到夜里12点都不肯睡觉，我把他抱过来一会会就睡着啦。我才意识到这孩子是在想念母亲的怀抱！今天是回去的第四天晚上他爷爷还是要带着小孩睡觉，今天刚起身看看去正好小孩闹，问为什么不抱我这边来喂奶！（我奶水足，冰箱有冷藏的）他们说热了给他吃了，我抱过来拍了几下又睡着啦。他爷爷催促赶紧把小孩抱给他带！让我睡觉。这会我回房间了。内心特别的纠结！感觉这样让他父亲带小孩对小孩的身心不好。他想念母亲的时候见不到我！可我又不知道如何跟他爷爷说！老人家也是爱小孩。我该怎么办