离婚后，舍不得孩子！男方拿我家人做要挟！逼我放弃抚养权

结婚3年多了，有一个3-岁的女宝宝！婚后我和孩子一直跟男方父母生活在农村！男方再婚期间长年在外打工，很少回家陪孩子，孩子也不跟他亲近，基本属于排斥他的那种状态！期间也很少给家里生活费并多次借高利贷，以至于亲戚朋友们都收到过催款信息，实在不想在把这段婚姻继续下去！我提出离婚，他的条件是孩子必须给他，不然就杀了我全家，而且还说光脚的不怕穿鞋的！不信就试试，反正他一无所有，不怕在搭上一条命！我真的害怕了！看看孩子稚嫩的小脸我又舍不得放弃！今天他终于答应离婚而且给我抚养权，但是协议上写着扶养权归属一方在孩子18岁之前不得结婚，不得与异性同居，否则将抚养权让出！我现在真的不知道该怎么办了！有没有人可以帮帮我！我只想要孩子哪怕没有抚养费也行！但是我又怕他伤害我家人！