新我和他爸离婚了。孩子开始说梦话

我和孩子他爸离婚快2个月了，孩子现在2岁5个月了，从生到离婚都是我一个人带他。孩子的抚养权是男方的，我不用出抚养费。可是她们家限制我看孩子，一个月只能看2次。一开始还可以和孩子过夜，现在却不让我和孩子过夜了，说孩子一和我过夜，回去就不和他们睡了，夜里一直哭。我想可能他们说的对，我就几个星期没去看他，这次休息我再次接他出来玩，孩子变得特别依赖我，很怕我走了。也不愿意回去，瞎哭。孩子奶奶就答应我和孩子过夜。可是他晚上根本不睡觉，也不让我睡，就一直缠着我聊天，一直聊到12点半才睡着，睡到6点多的时候就开始说梦话，说不找奶奶，妈妈不睡觉，妈妈不上班，妈妈抱抱，听的我好心痛。我改怎么做才能把伤害降到最低？