我该不该带儿子回去祭祖？？

我和丈夫正在搞离婚，现在分居了，上次见面还扬言要抱走儿子，如果我现在带儿子回去会不会有危险，总觉得他会拦着我们，不让我们回去的，但是不回去的话，肯定有闲言碎语的说我的，我只想带儿子祭拜完就走，毕竟还是他们家的子孙，各位宝妈给我支个招吧