到底应不应该给弟弟钱

家里有个不太争气的弟弟，自己工资有4千多，还不够花，这段时间谈了个朋友，开始我都给了五百，之后就以各种理由找我拿了差不多一千左右。我结婚了，有两个孩子，自己没有工作，老公工资比我弟稍微高点。每次找我借钱，其实不想借给他，但是又不想关系搞得不好，所以就给他了，就这两个月，差不多拿走了我两千，这些老公都还不知道，只知道拿了五百，还有之前的五百多。老公已经和我说了，再给钱你弟，以后就不给我管钱。自己爸妈对我们都挺好的，也不要我们的钱。知道我们不容易。前两天我弟又找我借钱，这次我坚决的没有借给他。其实说是借，到头来，钱还是没到我手里，遇到一个这样的弟弟该怎么办