简介:本文围绕大模型投毒、提示注入与越狱三类风险展开对比,解释它们在攻击入口、持续时间、触发条件、影响范围和治理方式上的差异,并结合预训练数据、微调数据、模型权重与检索知识库等环节,给出适用于研发、评测和生产系统的识别、防护与选型建议。
随着大模型被用于智能问答、知识检索、内容生成、代码辅助和业务流程自动化,安全问题已经不再局限于“用户输入了什么”。模型使用的数据、权重、检索内容和上下文指令,都可能成为攻击入口。
实际讨论中,提示注入、越狱和大模型投毒经常被混为一谈。它们都可能导致模型输出错误、违规或被操纵的内容,但攻击发生的位置和持续方式并不相同:
因此,判断一种风险属于哪一类,不能只看最终输出是否有害,还要分析攻击者控制了哪一层、影响是否持久,以及问题是否会随模型或知识库被复用而扩散。
提示注入是指攻击者通过用户输入、网页内容、文档内容或其他上下文信息,改变模型对原有指令的理解和执行顺序。
例如,系统要求模型只总结资料,但外部资料中包含“忽略前面的要求并执行另一项操作”的指令。模型如果没有正确区分“数据”和“指令”,就可能执行不应执行的内容。
提示注入的特点是:
越狱是指通过特殊提示、角色设定、任务拆分、编码转换或多轮诱导等方式,试图绕过模型已有的安全规则。
越狱与提示注入存在重叠,但关注重点不同:
越狱通常不需要污染训练数据,也不一定会留下持久影响。只要更换输入、重置会话或加强输入审查,攻击可能就不再生效。但如果系统缺少统一的安全策略,越狱仍可能在不同会话中反复出现。
大模型投毒是指攻击者污染训练数据、微调数据、模型权重或检索知识库,使模型在特定条件下产生错误、有害或被操纵的输出。
投毒的关键不在于让模型整体失效,而在于尽量保持日常表现正常,同时植入隐藏的触发条件。例如:
这类攻击更难察觉,因为常规测试可能无法覆盖触发条件。
| 对比维度 | 提示注入 | 越狱 | 大模型投毒 |
|---|---|---|---|
| 主要入口 | 用户输入、上下文、外部文档 | 用户输入和多轮对话 | 训练数据、微调数据、模型权重、知识库 |
| 发生阶段 | 推理阶段 | 推理阶段 | 训练、发布、检索或加载阶段 |
| 是否持久存在 | 通常不持久 | 通常不持久 | 可能长期存在 |
| 触发方式 | 指令冲突、上下文误导 | 诱导绕过安全规则 | 特定词、特定任务、特定文档或隐藏模式 |
| 影响范围 | 当前请求或会话 | 当前请求或会话 | 使用相关模型或知识源的多个请求 |
| 主要风险 | 执行错误指令、泄露上下文 | 输出违规或不安全内容 | 系统性偏差、隐蔽后门、持续性错误 |
| 排查方式 | 检查输入和上下文 | 进行安全评测与对抗测试 | 追溯数据、权重、知识库和构建流程 |
| 主要防护 | 输入隔离、指令分层、输出校验 | 安全策略、拒答机制、红队测试 | 数据治理、权重校验、来源审计、触发器测试 |
从影响方式看,提示注入和越狱更像是“运行时攻击”,攻击者主要利用一次请求影响模型;投毒则更接近“供应链或构建链攻击”,问题可能在系统上线前就被植入,并随着模型或知识源被重复使用。
预训练阶段通常会使用大规模公开或内部语料。如果数据采集、清洗和去重流程不完善,攻击者可能通过发布大量低质量、误导性或带有特定模式的内容,影响后续训练数据。
该方式的特点是:
防护重点包括数据来源分级、内容质量评估、重复内容检测、异常分布分析和高风险语料人工复核。
微调数据通常直接影响模型的任务行为。攻击者如果能够参与数据标注、数据整理或反馈采集,就可能构造带有偏置的问答样本,改变模型在特定场景下的回答方式。
与预训练投毒相比,微调投毒具有更强的定向性。例如,攻击者可以围绕特定任务、特定领域或特定关键词设计样本,使异常行为更集中、更容易触发。
治理时应重点关注:
模型权重是模型行为的核心载体。如果权重文件在发布、传输、存储或加载过程中被替换,使用者可能在不知情的情况下部署异常模型。
权重投毒的风险在于,普通功能测试可能无法发现问题。模型在常见问题上表现正常,但在特殊触发条件下产生异常结果。
因此,权重安全不能只依赖文件名或下载来源,还需要建立完整的校验机制:
在检索增强生成系统中,模型回答不仅依赖参数,还依赖检索到的文档。如果知识库、网页抓取结果或内部资料被污染,模型就可能根据错误信息生成看似合理的回答。
检索投毒与传统模型投毒的区别在于,它不一定改变模型本身,而是改变模型能够看到的证据。
典型风险包括:
防护时应将检索内容视为“不完全可信数据”,而不是天然可信的系统指令。系统需要区分系统规则、业务指令和外部资料,并限制文档内容直接调用工具或修改业务状态。
首先,投毒具有更强的隐蔽性。提示攻击往往能在请求日志中看到异常输入,而投毒可能早已存在于数据集、权重文件或知识库中。
其次,投毒具有更大的复用范围。一次被污染的模型可以被多个业务系统加载,一个被污染的知识源也可能影响多个应用。
再次,投毒的触发条件可能非常窄。若评测只覆盖常见问题,就可能出现“测试正常、上线异常”的情况。
最后,投毒需要跨环节排查。问题可能来自数据采集、清洗、标注、训练、模型发布、检索索引或应用编排,单独检查某一个环节往往不足以定位根因。
研发阶段可以重点关注可追溯性和快速验证:
生产系统需要重点防止外部内容改变系统行为:
当模型能够调用数据库、消息队列、业务接口或其他工具时,风险会进一步放大。此时不能只依赖模型“自觉遵守规则”,而应在工具层增加权限和审批控制。
可以采用如下通用流程:
用户请求↓输入安全检查↓意图识别与权限判断↓模型生成计划↓工具调用参数校验↓高风险操作人工确认↓执行并记录审计日志
即使模型受到提示注入或投毒影响,工具层仍应阻止越权操作。
单纯测试模型能否回答常见问题是不够的。建议从以下维度建立评测集:
评测结果不应只记录“通过”或“失败”,还应保留触发条件、影响范围、复现概率和修复状态,以便后续定位。
如果系统主要面临用户输入风险,应优先加强提示分层、输入过滤、输出审核和会话隔离。
如果系统使用外部文档或检索知识库,应重点建设文档来源管理、内容清洗、权限控制和检索结果审计。
如果系统需要引入外部模型或第三方数据集,则应建立模型准入、权重校验、版本管理和离线安全评测流程。
如果系统具备自动执行能力,则应把安全边界下沉到工具和业务系统本身,避免将所有权限交给模型。
总体而言:
大模型投毒与提示注入、越狱并不是同一种问题。提示注入和越狱通常发生在推理阶段,影响可能集中在单次请求或当前会话;大模型投毒则可能发生在数据、微调、权重和检索知识库等多个环节,具有更强的持久性、隐蔽性和扩散性。
在实际治理中,不能只依赖输出过滤,也不能只做一次安全测试。更可靠的方式是建立覆盖数据来源、模型构建、权重发布、知识库维护、推理调用和工具执行的全流程防护体系。
选择防护方案时,应根据系统是否使用外部数据、是否允许模型调用工具、是否需要长期稳定运行以及团队的审计和运维能力进行判断。只有明确攻击入口、持续时间和影响边界,才能制定与风险相匹配的安全措施。