不必要离婚吧，你老公的做法倒确实不知道他为什么会这样交代，感觉自己用自己的钱没什么。如果怕他们说什么，你们稍微给点生活费给他们就好。