简介:本文从攻击入口、持久性、触发条件、影响范围和治理方式等维度,对大模型投毒、提示注入与越狱攻击进行系统对比,并进一步拆解预训练数据、微调数据、模型权重和检索知识库四类投毒路径。读者可以据此判断不同风险的形成原因,选择相应的检测、隔离、审计与应急处置策略。
大模型安全事件经常被笼统地称为“模型被攻击”,但不同攻击方式所处的系统层级并不相同。本文重点比较三类概念:
三者都可能影响模型输出,但核心差异在于:攻击发生在哪一层、是否持久存在、需要什么触发条件,以及影响的是单次请求还是大量使用者。
大模型投毒并不等于简单地向模型提问一个错误问题,而是对模型依赖的输入源或内部状态进行污染。其目标通常不是让模型在所有情况下都表现异常,而是让模型在某些关键词、任务类型、领域知识或业务流程下出现可控偏差。
例如,攻击者可能在训练语料中植入特定关联,使模型看到某个触发词后倾向于输出预设内容;也可能向企业检索知识库中加入一条伪造文档,使问答系统在特定问题下优先引用错误结论。
投毒通常包含两个要素:
因此,投毒的危险性不仅在于输出错误,更在于其可能具备隐蔽性。模型在常规测试中表现正常,只有满足触发条件时才出现异常。
虽然攻击层级不同,但大模型投毒、提示注入和越狱攻击存在一些共同特征。
大模型会综合系统指令、用户输入、历史对话、检索结果和工具返回内容生成答案。攻击者可以利用这种上下文依赖关系,制造与正常任务相冲突的信息。
最终结果通常体现为回答方向改变、规则执行不一致、敏感信息泄露、错误引用或任务目标被替换。
同一段异常输出,在普通聊天场景中可能只是内容质量问题,但在自动审批、代码生成、知识问答、智能客服或工具调用场景中,可能进一步造成业务风险。
关键词拦截、输入清洗、输出审核、权限控制、数据审计和人工复核需要组合使用。单纯依赖某一层防护,容易被变形表达、间接注入或多轮上下文绕过。
| 对比维度 | 大模型投毒 | 提示注入 | 越狱攻击 |
|---|---|---|---|
| 主要入口 | 训练数据、微调数据、模型权重、知识库 | 用户输入、网页、文档、工具返回内容 | 用户输入和多轮对话 |
| 生效时间 | 训练、部署或检索阶段后持续存在 | 通常在当前请求或当前会话生效 | 通常在当前会话生效 |
| 是否需要触发器 | 经常需要,可能是隐蔽触发条件 | 不一定,往往通过指令冲突实现 | 通常需要特定表达或对话策略 |
| 影响范围 | 可能影响使用该数据、权重或知识源的多个系统 | 主要影响当前应用或当前请求 | 主要影响当前会话 |
| 攻击难度 | 取决于能否接触数据、权重或知识库 | 较低,提交输入即可尝试 | 较低到中等,依赖绕过策略 |
| 典型后果 | 持续性错误、后门行为、知识污染 | 指令被篡改、上下文泄露、工具误调用 | 安全策略失效、违规内容生成 |
| 主要治理方式 | 数据治理、权重校验、版本审计、知识库审核 | 指令分层、输入隔离、上下文过滤 | 安全策略、对抗测试、输出审核 |
简单来说,提示注入和越狱更像是“推理阶段的临时操纵”,而投毒更接近“系统依赖源或模型状态被长期改变”。不过,三者也可能组合出现。例如,攻击者先污染检索知识库,再通过提示注入让系统优先读取恶意文档,最终诱导模型执行不安全操作。
预训练数据通常来源广泛,可能包括公开网页、文档、论坛内容、代码资料和其他可抓取信息。攻击者如果能够让恶意内容进入数据采集范围,就可能影响后续训练。
这类攻击的特点是影响范围大、发现时间晚、追溯难度高。由于数据规模庞大,单条异常样本往往难以直接定位。防护重点包括:
预训练投毒并不一定要求攻击者控制大量数据。某些情况下,少量设计精细、与触发条件高度相关的样本,也可能对特定行为造成影响,因此不能只按数据数量判断风险。
微调阶段通常更接近具体任务,数据规模可能小于预训练数据,但单条数据的影响更加集中。例如,某个分类任务、客服问答任务或领域知识任务中的错误标注,可能导致模型在特定业务流程下持续偏离。
微调数据投毒的风险主要来自:
治理时应保存数据版本、标注记录、审核结果和训练配置,并针对关键任务建立反事实测试。例如,对相同问题改变无关词语、调整输入顺序或去掉可疑触发词,观察模型输出是否出现不合理跳变。
模型权重是模型运行的核心文件。如果使用来源不明、完整性无法验证的权重,可能面临隐藏行为、异常输出或供应链风险。
权重投毒的特点是传播速度快。一个被多个团队下载和部署的模型文件,可能将相同风险带入多个环境。防护重点包括:
需要注意的是,文件完整性校验只能说明文件在传输过程中没有被篡改,不能证明模型本身一定安全。来源可信、训练过程透明和行为测试同样重要。
在检索增强生成系统中,模型回答往往依赖外部文档。攻击者不一定需要修改模型,只要把错误内容写入知识库、网页、共享文档或数据接口,就可能影响检索结果。
这类投毒的门槛相对较低,且容易被误认为普通知识错误。其风险取决于:
治理上应为文档设置来源、版本、责任人和有效期,建立新增、修改、删除的审批流程。对高风险回答,系统应要求多来源交叉验证,或将模型输出标记为“待确认”,避免直接作为业务决策依据。
提示注入主要针对当前上下文。攻击者可能在输入中加入“忽略之前要求”等冲突指令,或者把恶意指令隐藏在网页、文档和工具返回结果中。它并不一定改变模型权重,也不一定污染长期知识。
越狱则更强调绕过安全边界。例如,攻击者可能通过角色设定、拆分任务、编码变形、连续追问等方式,诱导模型逐步输出受限制内容。越狱成功通常说明安全策略、训练约束或输出审核存在不足,但不代表模型已经被永久修改。
二者与投毒的区别可以概括为:
重点是来源管理和行为基线。所有训练数据、模型文件、知识文档都应可追溯,并通过独立测试集验证。对于新模型,不能只看通用准确率,还要测试异常触发、拒答一致性和敏感任务边界。
重点是知识库安全。应控制文档写入权限,保存版本和审批记录,并在回答中提供引用依据。对于涉及制度、财务、人事和安全操作的内容,建议增加人工确认。
重点是权限隔离和最小授权。模型即使受到提示注入,也不应直接拥有高权限操作能力。工具调用应经过参数校验、资源范围限制、风险确认和全过程审计。
重点是稳定性、回滚和监控。需要监测异常回答比例、拒答率、触发词分布、知识来源变化和工具调用异常。一旦发现模型行为偏移,应能够快速切换到安全版本或暂停高风险能力。
当更换模型、更新微调数据或迁移知识库时,不能只验证接口是否兼容,还应关注安全行为是否发生变化。
建议重点检查:
若怀疑存在投毒,应先隔离异常数据源或模型版本,暂停高风险自动化操作,再通过对比测试确认触发条件。不要在未完成取证前直接覆盖原始文件,否则可能丢失关键证据。
大模型投毒、提示注入和越狱都可能造成错误或不安全输出,但解决思路不能混用。
实际选型和治理时,最重要的不是简单判断“模型是否安全”,而是建立从数据源、训练流程、模型文件、检索系统到应用输出的完整防线。只有把持久性投毒风险与实时的提示操纵风险区分开,才能制定更准确的检测方案、权限边界和应急流程。