我该怎么办

之前订婚的时候跟老公家里商量好的，结婚什么要求都没有，只要第一个孩子跟我姓，那时候公公是同意的，我生完孩子一个月，公公来我家跟我们吵架，说我老公跟我在一起的这三年多一分钱都没有拿回去（跟我老公在一起的时候我们都是刚毕业），说他们家里买房子么我老公也没拿出钱了（那时候我公公买房子我们都不知道，买好了就通知我们一声），又说孩子是跟我姓他们不管，小孩子都一百天了，他连抱都没有抱一下，生孩子的时候来看一眼出院了来看一眼，我跟我老公一直住在我家，我公婆一个电话都没有，刚生完孩子的时候我妈检查出来要动手术，我还在坐月子让我婆婆来照顾我跟孩子我公公都不愿意不让她来，还是我老公请了一个月长假照顾我跟孩子。 现在我公公说要叫我们全家一起吃饭，我跟我老公说的很清楚我不会带着孩子去他家了……