新我到底该怎么办？

我是江西的，我老公是贵州的，我们没在一起之前，我爸妈说如果我们要在一起，他以后有钱了就得在我们江西那边买套房子。只是叫他买套房子，他平常也可以回他老家去，因为他现在没有钱所以我爸妈也没叫他马上就买，然后他答应了，但是是不得已才答应的，其实他心里一点也不愿意，现在我们孩子也有了，但是每次我跟他提这个事，他就生气，说我爸妈就是想找个不要钱还得自己倒贴钱的上门女婿，其实我有两个哥哥，我爸妈只是不舍得我嫁那么远才提出这个要求来的，其他什么都没有要他的，而且他一开始也答应了，但是现在他就说他是不会去我们那边的，我说那我以后就自己带着儿子在我家那边过了，他听了也没说话，感觉心好凉。平常不提这件事他都对我特别好，一提这个他宁愿儿子都不要一样，我和老公都才21岁，只办酒，没领证。你们说我该怎么办才好？求各位宝妈支招。