总怕他们家人跟我抢孩子

有了孩子以后他做过太多过分的事情我对他已经绝望了，我知道我们的婚姻肯定不会长久，但是还是没有狠下心选择离婚，他们家人我看不上也有很多不满意的地方，见到他们就反感，也讨厌他们抱孩子，虽说现在一个礼拜也就见一次吧，但是孩子爷爷快退休了，他是重男轻女的人，儿子他很喜欢但我们不住一起，他也不经常在家所有不怎么见面，上次来我们家住结果因为他我俩打起来了，估计一时半会他不会来了，孩子爷爷是个不顾家的人，每天都喝很多酒，最烦他醉醺醺的看孩子嘴里说话没个把门的，我不上班天天在家自己带孩子，孩子他奶奶就别问了，当他死了算了，已经俩月没有见到了，现在每天晚上睡不着觉就怕他爷爷退休以后天天上我们家来，或者他们俩天天看孩子把我儿子抢走，儿子是我唯一的依靠，没有他我活不了，我不希望他学到他们家人的尖酸刻薄，赌博喝酒，虽说他们不好，但是毕竟是爷爷奶奶，我是不是没有权利不让他们见孩子，如果他们要带儿子我是不是也没有权利阻拦？该怎么阻拦？他只向着他爸不会向着我，我现在甚至都觉得儿子只是我自己的，跟他还有他们家人没有任何关系才好，我这样的想法是不是太偏激了？真的好担心他退休以后来扰乱我们的生活，如果他爷爷会不会要跟我抢儿子，如果有，我坚决带着儿子回我妈家，直接选择离婚，我想唯一能让跟他离婚的就是他还有他的家人要跟我抢儿子。我不想让我儿子跟他们家人好！