老公对我就像陌生人

和他是相亲的，觉得他人老实稳重才答应的。之前有男朋友，但是我妈说他家太远，不想我远嫁所以我和男朋友分手回家了。然后通过我姨认识我老公。结婚差不多三年，交流很少，大宝两岁多，二宝刚满月，夫妻生活也很少，结婚三年十个手指都能数的过来。他对钱比较看重，结婚三年来给我的钱不到一万，关心几乎没有，还有一个奇葩婆婆。家里开了粉店，一天到晚都在忙，问他要钱买孩子的尿布和衣服什么的就像要他命一样，不然就给脸色。现在我都不知道该不该和他离婚了。以前也有说过离婚，他同意了，但是就是不签字。一家人都抠得半死。