家里得经济大权应该谁来保管？

我和老公结婚十几年了，这五六年时间他没有管过我一天，都是自己挣钱自己花。必定现在儿子长大了家里房子也没有盖，我就和他思量要么盖房，要么钱我保管，他不愿意，我想到从认识到结婚礼物没有一个，钱也花不到一分，儿子也丢给老人家没有好的照顾（宝宝的童年父母都不在身边感觉特别对不起他）我得大好年华都给他了。现在根本得不到信任。真想结束。姐妹们你们家得经济大权在谁手上呢？这种没有物资没有精神满足得婚姻是不是应该结束？