该不该把钱还回去

结婚两年，本来一直是我掌管财政大权的，这是婚前说好的，因为娃爸花钱没节制，大手大脚惯了，我想存钱买地建房子(跟公公婆婆住一起，现在还跟小叔子夫妻住一起，生活诸多不便)，所以说好的钱都放我这边，要花就来拿，平时给一些零花钱，一直过了两年，大概在三个月前，我们爆发了关于我掌管财政大权他诸多不满的战争，起因是小叔子要借钱(小叔子此人，花钱无节制，宁愿一个房子三家人挤在一起也要分期买一辆三十万的小汽车，结婚还去最好的酒楼，明里暗里从公婆那里拿钱，而公婆又找借口问娃爸要钱，我做个月子给婆婆四千块买菜，是她逼我拿出来的，这钱还是我娘家人给我的，小叔子挣的钱，都给她老婆花了，没钱就问我们借，我们也不是有钱人，我平日里省吃俭用存的钱，心心念念要买地，一旦被他借走，估计要还就不容易了)，娃爸非要借钱给他，我不肯借，以后问他还钱肯定不容易，因为这个，我们爆发了激烈的争吵，后面他让我交出财政大权，把他挣得钱还给他，我还了，按照我们讲好的条件，他每个月上交我生活费，其余他挣的全部由他自己保管，这事本来也就翻篇了，他借钱给他弟我从此也不过问 没多久，他开始跟我叨叨，钱放他那里不知怎么花的特别快，可能真的不适合存钱，言外之意又说把钱放我这里，我不肯，果断拒绝他，他又偷偷把钱都打到我卡里，打好以后再跟我说，我心里一点不乐意，上次是伤透了心，根本不想再管钱，打到我卡里的钱比之前交出去的时候没多反而少了不少，这一点我没过问，心里又真的好难受，存了那么久打算买地的钱，他就这么使劲花，我想把钱还给他，再没有想管钱的心了，不还说不定过段时间又来说我把钱管死了不给他，我也是不想再管他的钱，能买买不能买算了