孩子三个月，因为老公的家庭我想离婚

我2015年大学毕业，老公初中没毕业，因为爱情我嫁给一无所有的老公，他家很穷，因为钱都让他哥花完了，买房首付8万是借的，装修都是我跟老公的钱，家里的家具家电都是我买的，2015年老公的哥哥因为胃癌去世，留下三个女儿，没过几天嫂子带着8岁的大女儿走了，大女儿由嫂子的妈妈抚养，剩下4岁的二女儿，3岁的小女儿由婆婆抚养，2017年嫂子嫁人并有了孩子，嫂子基本就是一个月打一次电话问一下孩子，其他的事完全不管，2017年我跟老公结婚并有了自己的孩子，坐月子期间的一个月婆婆带着俩孩子在我家，俩孩子很吵而且在我家吵吵闹闹的，还在我家墙上乱画，乱动我的东西，我感觉特别烦俩孩子，之前没这么排斥这俩孩子，现在看到俩孩子就烦，出了月子婆婆就带着哥家孩子走了，我自己在家看孩子，期间孩子生病了，我自己照看不过来。让婆婆过去照看几天，她因为哥哥家的孩子上学为由光说咋办咋办，最终也没过去，现在我只要想到老公哥家的孩子我就很反感，马上就要上班了，上班期间孩子得由婆婆照看，这得跟他们住在一起，以后跟他们长期相处，我都不知道该如何面对这样的生活，我感觉我做的最后悔的一件事就是嫁到这样的一个家庭，感觉特别的委屈，都有种想离婚的感觉，可是孩子才3个月，我该怎么办