离婚了，孩子抚养问题困扰

我和孩子的爸爸离婚了，因为他精神肉体出轨，而且是他提出的离婚。孩子抚养权也没跟我争，估计怕带个小孩跟新欢无法正常交往。我刚回了娘家，无论是精神情绪还是生活工作方面我暂时都没有办法照顾好小孩，所以想让小孩回到她爸爸的城市读书，我在我娘家这边把自己打理好就接回来，我很舍不得孩子，但是孩子小，带着我根本无法工作，娘家人没有能帮我带的，我不能给孩子好的，她爸那边能上好的幼儿园，爷爷奶奶也有空，会照顾好，但是奶奶身体不好，之前孩子爸爸一家人都说我自己带孩子困难，把孩子放那边可以读书，我也可以先安顿好，可是当我真正提出时，一家人竟都说奶奶身体不好，带不了，让我自己带了。我说，我不是万不得已我也不可能舍得和孩子分开，最后前夫说孩子愿意跟他们了就不给我接回去了。我不想缺失孩子成长的每一刻啊，怎么都是大家的孩子。我是要舍弃抚养权么？