Agent 安全为什么不同

普通聊天模型的错误通常停留在输出层，而 Agent 可以调用 API、读取文件、发送消息甚至修改生产系统。风险由“回答错误”升级为“错误动作被真正执行”。

OWASP 发布 Agentic Applications Top 10，目的就是帮助团队从智能体的身份、目标、工具、记忆和自治行为几个层面建立防线。

最值得关注的风险面

目标被劫持

外部网页、文档或邮件可能包含恶意指令，诱导 Agent 偏离用户真实目标。不能把检索到的内容与系统指令放在同一信任级别。

工具权限过大

只读查询工具不应同时拥有删除权限；发送邮件、执行命令和付款等高风险动作需要额外审批。

身份与凭证滥用

不要把长期高权限密钥直接交给模型。应使用短期凭证、最小权限和按任务授权，并记录每次工具调用的主体。

记忆污染

长期记忆可能保存错误或恶意内容。写入记忆前要校验来源，敏感记忆需要过期和删除机制。

人类过度信任

界面应明确标记建议、草稿和已执行动作，不能用流畅语言掩盖不确定性。

上线检查清单

• 每个工具都有独立权限和参数校验。
• 高风险动作要求人工确认。
• 网络、文件系统和数据库访问放在沙箱或代理层。
• 对目标改变、权限提升和异常循环设置告警。
• 能够中止任务并回滚已经执行的操作。
• 用恶意网页、提示注入和错误工具返回做红队测试。

结论

Agent 安全的关键不是继续增加提示词，而是把智能体当成一个可能出错的自动化账号：限制权限、验证输入、记录行为并保留人工控制权。

原始资料：OWASP GenAI Security Project 官方公告