离婚对孩子影响大吗？

我和他闪婚没有一点感情，他常年在外打工，自从生了孩子还是如此，这种生活让我过的很压抑，我一个人带着孩子和他妈住在老家，他妈也不管孩子，感觉都快被憋死了，他还不爱打电话，婚前婚后有娃后都一样，我真想离婚，可是现在孩子才五个月，怎么办，前几天说离婚的事，本来想和他商量着离婚，他刚开始还好好谈呢，最后有一次不好好谈了，我说不行就法院见，他说法院见就法院见，就这样又冷战了，孩子和我在我妈家，他现在还没上班，待在他家，也不来看孩子，我想死的心都有了，感觉他就不该有孩子，你说对我不好也巴，可是孩子是他亲生的，就算闹离婚你也该把孩子看看，硬是在家不来看孩子，也不谈离婚，跟个死人一样，每次都这样，我该不该去法院离婚，请大家给点建议，他妈家里都不管