我老公是个小气的男人，怎么办？

我和他认识一年，结婚一年多，儿子半岁了，之前耍朋友的时候就感觉到前点小气，过节过生也不会主动买个礼物送花什么的，当时一直觉得他是农村的孩子应该比较节约务实，他脾气好从不多言多语，以为他很老实顾家。后来结婚时买戒指他想挑3000的，我没同意后来选的8000的，对此他一直记着。婚后他不愿交工资卡给我管，我们就各管，他的开销剩余的他自己存起。我的自己开销存着。但我买衣服，买化妆品什么的他都认为我花费太多了，其实在我的朋友看来我算是节约的了。还是花的我自己的钱。他不愿意在我身上花钱，也不会给我买东西，除了买孩子的东西。但他给他自己买，给他父母买就要选好的，贵点的，还不给我说，我后来才发现的，真心感觉他很自私小气。他不会告诉我他存了多少钱，就来算我的钱，对我父母也吝啬表面尊内心却不满，但为他家花钱他就心甘情愿拿出来。我妈是个性格直爽的人，就劝我说让我自己长个心眼防到他，我妈也觉得他很自私。现在住的房子是他婚前买的，婚后我替他还了10万贷款。存款中有5万是我们结婚收的礼金，他一直记着，现在他说在买套大点的房子（我妈劝我不买），让我把之前存的8万元钱（包括礼金）拿出来。我问他的存款他不说，我说我们既然是一家人就把钱存一起，他说全部存他卡上，卡给我保管，用钱要双方同意。我担心他会不会另外存钱，他工资比我高一倍，却经常计算我的钱。现在他在公司升职了，脾气就没以前好了。有几次争吵他就说离婚，凭他的工资一个人过更轻松也可以找个更好的女人过。后来问他说是气话。对于这样的男人我该怎么办？还共同买不买房？孩子还小要离婚吗？若离婚孩子怎么办？主要感觉跟他一起没欢乐过得憋屈，后悔当初没有听我妈的话找个大气的男人跟他分手