三岁开始喝咖啡，现在怀孕五个周，很难戒掉怎么办

受家族影响，我从小到大喝咖啡，一般一天一到两杯，睡前喝也不会影响睡眠。例假每个月非常准，所以推迟两天没来就用验孕棒验出明显两条杠了。现在大概是五周，开始头晕孕吐很难受。从验出怀孕到今天一个周了没有再喝咖啡。今天中午恶心难受又犯困，我喝了两口咖啡，症状缓解了很多啊。 这是不是说明我偶尔还是可以少喝一点咖啡？ 我自己用咖啡机做的咖啡，如果我减少咖啡的量，多放牛奶会不会将危害减少？ 跪求有经验的姐姐们医生们解答！感激感激！