好想离婚，又舍不得

我跟老公是自由婚姻，有四年了，生了两个宝宝，大宝19个月，小宝才40天。前些日子把大宝带回我家带，生病了，我老公就说以后不许把孩子带回我家。说我们家带不好。他爸爸妈妈也是这样说的。我怀孕的时候，老公对我挺好的，可是生完孩子后，感觉有点变了。昨天吵架跟我说，他嫌我烦，看见我就够了。我好想离婚，可是舍不得孩子。还有点舍不得他。我该怎么办？一点主意都没有。而且我也没有经济能力，都是他养我的。我们家是单亲家庭，如果离婚会把孩子判给我吗？