参考答案
内容深度:基础 · 无代码示例 · 来源:外部链接 · 未复核 · 28 天前更新
风险
- 用户/检索文档里夹带「忽略之前的指令」「泄露系统提示」等内容,诱导模型越权;Agent 还可能被诱导调用危险工具。
- 不能只靠系统提示「不要听用户的」;模型无法可靠区分数据与指令。
防御
- 分层:系统指令/开发者指令/用户内容/工具输出明确分隔;对不可信内容做转义/标记,不让其进入高优先级指令。
- 工具最小权限、参数校验、危险操作二次确认/人工审批;输出过滤/敏感信息检测;RAG 引用来源但不执行文档指令。
测试
- 红队用例(直接/间接注入、编码绕过、多轮诱导);监控异常工具调用;发现后限流/下架/修复。