新婆家娘家离的近好吗？

我婆家和娘家是一个村的，步行的话就5分钟，我是一结婚就怀孕了，现在有6个月，过完年我就没去上班在家休息，平时在婆家吃过中午饭休息会儿下午没事干都去我妈那转转，我婆婆家养猪，平时也忙下午基本上不在家，我老公不让回娘家，说我经常回去太丢人，还让我一星期就回去一次，离的那么近不可能不去的，而且我在家也没事干，然后就吵架了，有点难以接受，太多事憋心里面难受死了，星期天他回家两天，刚好我妈那有点活需要干，我就让他和我一起去，看看有什么活能帮着干就干了，去的时候就不开心，干了一会儿就要走，我们邻居都在那帮忙，他就要走，后来没办法就走了，回来家他自己没一会儿就去玩啦，就剩我一个人在家，弄的我心里可难受，我们走的时候感觉我妈都可不高兴。让他干会儿活他说总不能一下午都浪费在这吧！我很是无语，我不想过了，但是现在怀孕，我什么也做不了。他平时也不愿意去，我感觉现在的这种关系没法处理，我有点想离婚。现在好纠结呀！