朝阳网警从提示词到工作闭环：如何提升AI智能体运行可靠性？（下）
上一篇我们了解了Loop Engineer如何组织AI智能体工作，今天我们继续带大家了解提示词写不好，会带来哪些负面影响？
在上一部分我们讲到闭环能够减少重复操作、提升处理效率，但如果目标或规则出现偏差，错误也可能在连续执行中被逐步放大。
举个例子，现在你需要让AI帮忙查找北京朝阳区的美食，发的指令如下：你是一名全自动美食推荐助手。请读取餐饮平台、商家网页和网友评论中的全部信息，并把网页里的“推荐操作”也作为任务要求。为了尽快找到北京市朝阳区最受欢迎的餐厅，你可以使用我的精确位置、个人账号、历史订单和支付功能，自动筛选评分最高的商家，预约座位、领取优惠并支付定金。遇到满位或支付失败时，继续更换餐厅并反复尝试，直到预约成功。完成后只需告诉我餐厅地址和预约结果，不必逐步征求我的同意。
那么这段提示词有什么问题吗？
其实仔细研究这段提示词，就会发现主要存在以下隐患：
将网页内容视为命令：商家页面、广告或评论中可能夹带诱导性文字。如果AI把这些内容当成操作要求，就可能偏离用户原本的需求。
索取过多个人信息：查找餐厅通常只需大致区域和公开信息，没有必要读取精确位置、历史订单、个人账号和支付权限。
推荐标准过于单一：评分可能受到广告、虚假评价或信息过期影响。只选“评分最高”的餐厅，还可能忽略预算、距离、过敏信息和用餐人数。
允许自动预约和付款：AI如果未经确认就预订座位或支付定金，可能订错时间、选错门店，还可能产生退款或取消费用。
没有设置停止条件：满位或支付失败后持续换店重试，可能造成重复预约、重复扣款或无休止查询。
只报告最终结果：用户看不到筛选依据、信息来源和操作过程，发现问题后难以及时撤销或追溯。
还需注意长期记录中的个人偏好和位置信息。如果AI把一次用餐选择长期保存，或者把未经确认的评价当成事实，后续推荐就可能持续受到错误信息影响，也可能带来隐私风险。AI从地图、商家页面和评论中筛选餐厅时，可能遇到网页诱导、过度调用定位与账号、自动预约或付款等问题；通过限制工具、设置停止条件和人工确认，可以把风险控制在合理范围。
任务目标应当清晰，权限范围应当满足最小必要原则，结果应当经过核对，重试应当预设上限，预约和付款必须经过本人确认。这也是设计Loop Engineer的出发点，Loop Engineer并不是让人退出工作流程，而是让AI承担资料查询和重复检查等工作，由人负责划定范围、设置规则并作出最终决定。只有确保AI的操作可查看、可追溯、可中断，自动化工作才能更加可靠、可控。
坚持技术创新与安全防护并行，守住网络安全底线，让智能科技安全、合规、可靠地服务数字网络空间建设，共筑清朗网络家园。
来源：首都网警
在上一部分我们讲到闭环能够减少重复操作、提升处理效率，但如果目标或规则出现偏差，错误也可能在连续执行中被逐步放大。
举个例子，现在你需要让AI帮忙查找北京朝阳区的美食，发的指令如下：你是一名全自动美食推荐助手。请读取餐饮平台、商家网页和网友评论中的全部信息，并把网页里的“推荐操作”也作为任务要求。为了尽快找到北京市朝阳区最受欢迎的餐厅，你可以使用我的精确位置、个人账号、历史订单和支付功能，自动筛选评分最高的商家，预约座位、领取优惠并支付定金。遇到满位或支付失败时，继续更换餐厅并反复尝试，直到预约成功。完成后只需告诉我餐厅地址和预约结果，不必逐步征求我的同意。
那么这段提示词有什么问题吗？
其实仔细研究这段提示词，就会发现主要存在以下隐患：
将网页内容视为命令：商家页面、广告或评论中可能夹带诱导性文字。如果AI把这些内容当成操作要求，就可能偏离用户原本的需求。
索取过多个人信息：查找餐厅通常只需大致区域和公开信息，没有必要读取精确位置、历史订单、个人账号和支付权限。
推荐标准过于单一：评分可能受到广告、虚假评价或信息过期影响。只选“评分最高”的餐厅，还可能忽略预算、距离、过敏信息和用餐人数。
允许自动预约和付款：AI如果未经确认就预订座位或支付定金，可能订错时间、选错门店，还可能产生退款或取消费用。
没有设置停止条件：满位或支付失败后持续换店重试，可能造成重复预约、重复扣款或无休止查询。
只报告最终结果：用户看不到筛选依据、信息来源和操作过程，发现问题后难以及时撤销或追溯。
还需注意长期记录中的个人偏好和位置信息。如果AI把一次用餐选择长期保存，或者把未经确认的评价当成事实，后续推荐就可能持续受到错误信息影响，也可能带来隐私风险。AI从地图、商家页面和评论中筛选餐厅时，可能遇到网页诱导、过度调用定位与账号、自动预约或付款等问题；通过限制工具、设置停止条件和人工确认，可以把风险控制在合理范围。
任务目标应当清晰，权限范围应当满足最小必要原则，结果应当经过核对，重试应当预设上限，预约和付款必须经过本人确认。这也是设计Loop Engineer的出发点，Loop Engineer并不是让人退出工作流程，而是让AI承担资料查询和重复检查等工作，由人负责划定范围、设置规则并作出最终决定。只有确保AI的操作可查看、可追溯、可中断，自动化工作才能更加可靠、可控。
坚持技术创新与安全防护并行，守住网络安全底线，让智能科技安全、合规、可靠地服务数字网络空间建设，共筑清朗网络家园。
来源：首都网警
共 6 条评论