爱骂人的渣男该不该继续

我跟我男朋友是2015年年底回家过年在朋友一起出去玩的时候跟着朋友认识的，也算是一见钟情吧，认识后感觉很聊得来，对彼此印象都还挺好。很快过完年了彼此都要各奔东西了。彼此很舍不得担心出去后这段感情就淡下去。然后双方父母也都想让我们订婚，我们先把婚订了慢慢了解，然后没几天订完婚他们就出去做生意了，我一个人在家里等他夏天回来。后来慢慢的感觉两个人的矛盾总是越来越多，电话联系也能吵起来，他很小心眼，不准让我跟男生有接触，正常的交个朋友聊聊天都不行，不然就会生气。现在我跟他一起到外地来了，心想后半年接触接触，到年底就要结婚了，我们那边风俗一般都是年内订婚年底结，不接触不知道，出来在一起呆了三个月了，两个人矛盾也是很多，平时还好，也算对我还可以，就是脾气不好，素质也差，动不动讲了什么他不爱听的，他就会骂人骂的很难听，骂妈妈的那种各种难听，所以每次我们都会争吵的很厉害，吵架时候还会骂我让我滚，还会说看不起我，没他前女友好之类的话，然后生完气过几个小时就开始道歉。每次都这样，我感觉好累。真的好累不想再这样继续了，可是我们这个月没有做措施，我又怕怀孕，感情慢慢的已经淡了，现在也越来越有点厌烦他了，感觉特别讨厌爱骂人的男人，一点都没有男人的大度。然后退婚的话俺我们老家的风俗我得把订婚的五万块钱还给他们，然后我的名声也会很不好，我们老家还是有些保守的，退过婚的女孩子那些农村妇女都会说三道四的。可是他一生气就这样我也真是受不了，大家说我该把钱退给他退婚呢，还是再忍忍继续生活下去。他太不尊重我了，大家觉得这样的男人值不值得我再继续和他好下去。