搞不懂，有些人怎么想的

我和老公结婚半年多，我们买了一套二手房，他有个亲弟弟，不过从小由于个别原因送给他大姨家了，相当于是大姨家的孩子了。这房子也是我们自己想办法买的，现在他弟弟觉得这房子有他的一部分，因为我们的首付是我老公爸爸给的一些，我们看在他是弟弟的份上，就打算给他10万，说实在的，这钱给是情份，不给也是本份。他弟弟一直不上班，也没收入，现在弟弟老婆怀孕了，说产检没钱，整天催我们还钱，我们是打算先给2万，因为我们也是刚工作不久，没什么存款，每个月房贷也是有压力。他弟弟就觉得我们应该给他，让他去工作也不去。今天连哥哥都不叫，直接让我老公还钱。很无语！老公说其实和弟弟没什么感情，毕竟没有生活在一起，一年也见不上几次面，他弟弟说他老婆是唐筛没过，要做羊穿，不懂他怎么想的，老婆怀孕了也不工作，连做羊穿的钱都没有，真怕给了2万，等没钱了又会继续找我们。纠结郁闷！如果我们有钱，给10万是可以，主要是我们也没什么钱。这10万是我老公姐姐让我老公写的欠条，也是说等条件好了在慢慢给，其实说真的，给了2，3万可以，给10万我是觉得多了。现在最烦的就是每天找我们还钱，连哥哥都不叫。伤不起，你们觉得换做是你，会怎么做？