为啥每次公公一提盖房就跟我说让我们掏几十万呢？

今天中午吃完饭公公突然又提起盖房了，这边好多人家都盖楼房了，前些日子奶奶把公公说了一顿，说看看别人家都干嘛呢，让公公有点上进心，今天中午公公跟我说要是咱家盖房你俩必须拿钱，我说行，没问题，先打欠条，我俩现在都没有存款，属于刚成家那种，昨天还要了2份保险单子，准备给公公婆婆都上上保险，我们俩掏钱给上，目前卡里存款就1000多，给上完保险就还剩几百，老公天天都出去干活，但是有的人干完活就拖着，不给钱，这点也愁人，感觉公公说这话也挺伤人的，我去哪里找几十万给你盖房，难道我们要去贷款嘛，以后日子还过不过了，公公有时候没钱了还总找我老公要呢，没事我们还给家买吃的，爷爷奶奶吃的我们都没少买过，过节之类的我们也给老家钱，虽然刚过日子，日子紧但我们也没有说让老人抱屈什么的，公公想盖他自己就盖，不想盖就不要盖，我嫁过来都没有说要多少钱彩礼，要楼房，要汽车，这些我都没提过。给了6万彩礼我就拿着了，然后给老公这边买的电视。洗衣机，冰箱，电脑，给自己买的3金，买完了不剩多少钱了，公公每次一说这个我都不高兴，这边楼房没有100多万根本就下不来，2万多一平现在，原来3万多，我都够给这家省钱了，啥也没有要，我还有1个月就要生了，你咋不说等孩子生下来你给包个几万的大红包呢，我公公是不是一直以为我们很有钱，越想心里越不舒服，我才嫁进来7个月，我24，我老公25，谁家这么年轻就有几十万存款了，我们都是普通家庭，我都不知道我公公在这么说我该怎么办了，我老公特别要面子，没钱了也不说。说宁愿外边贷款去。如果我公公在这么说，我该怎么办？我公公每次都跟我说还不跟我老公说！！！