哺乳期一直因为宝宝吵架要离婚吗

我和老公是同一个公司认识的，当时觉得他人不错，慢慢慢慢的就熟了便恋爱了。我们是以结婚为前提而恋爱的，自然少不了婚房，他家出钱首富买了房，起先我和老公一起还贷款，慢慢公司效益不好，就变成我和我亲妈一起还贷款，再来我们就结婚了，然后跟他家里人不愉快的讲过以后就变成他妈妈和我一起还贷款，那段时间老公没有工作，准备单干，贷款就落在我身上了，现在我休产假没用收入来源，所以他和他妈一起还，每月3000房贷，我休产假第四个月进行时，因为有了宝宝生活开始有点拮据，结婚前他说要买车，于是我拿出了自己的全部存款，我妈妈再出了一万多，他爸爸拿出来6000元，车子总额四万五，于是我们买了第一辆车，因为这个车子我们没有少吵架，后来结婚了我爸爸给我一辆20万的车子陪嫁，全款现金付清，因为提车时间我们又一直吵架，吵的甚至不愿意结婚，因为新房装修我爸爸妈妈拿出了25万，所以车子的钱再等我爸爸公司的款，老公嫌提车时间晚，三天两头跟我吵架，真的心都凉了，可是那个时候我们请帖都发出去了，在无锡国际饭店办的酒席，当天酒席由我家付钱的，花了10万，他家拿过来12.8万的聘金，说他们家有规矩的，女方一分不能拿，好，商量过后拿了一万，结果订婚当天又吵的不行，以至于拍婚纱照的时候一点心情也没有，照片拍的挺失败，而现在有了宝宝，他一直把宝宝当玩具，当零件，在空中抛来抛去，吓唬宝宝，宝宝睡着了么非要喊醒宝宝，他家里人也是一个样子，自从结婚前才发现老公的脾气差的一塌糊涂，今天宝宝在哭，闹睡觉，哭了几声，老公非得把宝宝弄在床上随他哭，然后哭了半小时我要去抱，他非不让，然后生气把宝宝百日的请帖全部撕了，说要把宝宝带走，不办百日宴了，他爹妈不肯出钱给宝宝办百日宴，所以这笔钱只能我们自己掏腰包，越想越委屈，这样的日子不知道是坚持还是放弃，宝宝才刚三个月，还在哺乳期，我该离婚吗，我害怕亲朋好友的舆论，我该怎么办，他也不止一次吵得说要离婚，到底该不该离婚