没有婆婆，该不该跟公公一起住？

公婆早年离婚，都各自成家，好不容易我对象跟他爹要的钱付了个首付买了套房子，我们结婚都没打算管，后来总算潦草给简单办了个婚礼，我老公刚毕业公公就找的媳妇去女方家里呆了八年，八年期间女方的闺女结婚了儿子上了大学又读研究生，去年我公公开始拿退休金一个月不到两千，还要去出去烧锅炉工作一个月工资四五千。这些银行卡退休金全都是他老婆拿着，退休金给儿子做生活费，我公公一分钱都没有，有次来看孙子那女人给了他一百块钱让他来，后来公公跟人打架被抓了，要七万的赔偿，我们自己两个孩子还要还房贷，基本没有积蓄，我们两口子借钱把公公赎出来，他那个媳妇一分不掏，可能公公确实生气了，从那女人家里出来了，没地去就去我家了！当时我那个悔恨啊，本来他被抓我啥也没想就是把他弄出来但是不想跟他住一块的，公公是个老实的有点傻的人，不爱说话还老办些傻事，当初所有人都劝他不要跟那女的，白去给拉扯孩子，他不听还傻不拉几回去跟那女的学话，那女人又打电话找那些人算账，好了碰上事花钱了不管了，现在老公工作又要去外地，常年不在家，我真的不愿意跟公公待在一块，我家老二还在喂奶，着实不方便！婆婆虽然离婚了一年也来个几次，以后这样就没法来了太尴尬了，家里三个卧室，孩子大了总得分房睡吧，我对象意思是让他到时候接送孩子上学，但是最需要人照顾的时候我都熬过来了，当初结婚不打算管我们，他儿子跟他理论说他这样以后还想年纪大了伺候你吗还说他有养老保险不用他儿子管，被抓进看守所天天找他1儿子了，前段时间还炫耀他给人家养的儿子研究生考上了出息了，才几个月就扫地出门了，难不成他要下半辈子住在这里，结婚装修乱七八糟我把自己攒的钱全给用上了，手机也没有积蓄，老公到处借的钱这几年刚换上，又为了救他借上外债好烦，我是不是太自私了，不孝顺！