老公出轨，还欠一屁股债，有两个孩子，我应该离婚？

老公出轨还欠一屁股债，现在还工作也没了，大宝读小学，小宝才6个月。我说要跟他离婚，他没说离也没说不离，现在我好好商量他也不回答，因为家婆家公身体一直都是他姐照顾，离婚了孩子也只能是我带，但他现在也不工作，也没有钱给我生活。我想出去工作，但没有人帮我带小孩，都不知道该怎么办……我每天都不跟他说话，本来想不煮他的饭，但是我不想大宝知道我们的事。我该怎么办？