面对爱打牌赌博的老公我该怎么办？

一到快过年回家了之后老公就天天玩牌可以说是赌，每次吵架都是因为他去打牌，有时候我不让他去，他就摔东西摔手机，不管我怎么样他都要去，就算我哭的很伤心他还是一样，现在两个孩子了，小儿子才两岁正需要人看的时候，他每次出去孩子都闹想要跟他玩，可他呢，不管孩子闹不闹照样去，我真的很难受，到底该不该离婚？