大模型投毒与提示攻击:原理、差异及防护选型

作者:公子世无双2026.11.16 10:41浏览量:0

简介:本文围绕大模型投毒、提示注入与越狱三类风险展开对比,解释它们在攻击入口、持续时间、触发条件、影响范围和治理方式上的差异,并结合预训练数据、微调数据、模型权重与检索知识库等环节,给出适用于研发、评测和生产系统的识别、防护与选型建议。

一、为什么要区分大模型投毒与提示攻击

随着大模型被用于智能问答、知识检索、内容生成、代码辅助和业务流程自动化,安全问题已经不再局限于“用户输入了什么”。模型使用的数据、权重、检索内容和上下文指令,都可能成为攻击入口。

实际讨论中,提示注入、越狱和大模型投毒经常被混为一谈。它们都可能导致模型输出错误、违规或被操纵的内容,但攻击发生的位置和持续方式并不相同:

  • 提示注入主要利用当前请求、外部文档或上下文中的指令冲突,影响一次或一段时间内的推理过程。
  • 越狱通常是提示注入的一种特殊表现,重点在于诱导模型绕过既有安全约束。
  • 大模型投毒则是在训练数据、微调数据、模型参数、检索知识库等环节预先植入异常内容,使模型在满足特定条件时持续产生被操纵的结果。

因此,判断一种风险属于哪一类,不能只看最终输出是否有害,还要分析攻击者控制了哪一层、影响是否持久,以及问题是否会随模型或知识库被复用而扩散。

二、三类风险的基本定义

1. 提示注入

提示注入是指攻击者通过用户输入、网页内容、文档内容或其他上下文信息,改变模型对原有指令的理解和执行顺序。

例如,系统要求模型只总结资料,但外部资料中包含“忽略前面的要求并执行另一项操作”的指令。模型如果没有正确区分“数据”和“指令”,就可能执行不应执行的内容。

提示注入的特点是:

  • 攻击入口通常位于推理阶段;
  • 不一定需要修改模型参数;
  • 可能只影响当前请求或当前会话;
  • 对上下文管理、指令优先级和输入隔离要求较高。

2. 越狱

越狱是指通过特殊提示、角色设定、任务拆分、编码转换或多轮诱导等方式,试图绕过模型已有的安全规则。

越狱与提示注入存在重叠,但关注重点不同:

  • 提示注入强调“改变模型正在执行的指令”;
  • 越狱强调“突破模型的安全边界或行为限制”。

越狱通常不需要污染训练数据,也不一定会留下持久影响。只要更换输入、重置会话或加强输入审查,攻击可能就不再生效。但如果系统缺少统一的安全策略,越狱仍可能在不同会话中反复出现。

3. 大模型投毒

大模型投毒是指攻击者污染训练数据、微调数据、模型权重或检索知识库,使模型在特定条件下产生错误、有害或被操纵的输出。

投毒的关键不在于让模型整体失效,而在于尽量保持日常表现正常,同时植入隐藏的触发条件。例如:

  • 当输入包含某个特殊词语时,模型采用错误的回答风格;
  • 当问题涉及某类主题时,模型持续偏向某个结论;
  • 当检索系统命中特定文档时,模型执行文档中的恶意指令;
  • 当模型加载了被篡改的权重后,在特定任务上输出异常结果。

这类攻击更难察觉,因为常规测试可能无法覆盖触发条件。

三、核心差异对比

对比维度 提示注入 越狱 大模型投毒
主要入口 用户输入、上下文、外部文档 用户输入和多轮对话 训练数据、微调数据、模型权重、知识库
发生阶段 推理阶段 推理阶段 训练、发布、检索或加载阶段
是否持久存在 通常不持久 通常不持久 可能长期存在
触发方式 指令冲突、上下文误导 诱导绕过安全规则 特定词、特定任务、特定文档或隐藏模式
影响范围 当前请求或会话 当前请求或会话 使用相关模型或知识源的多个请求
主要风险 执行错误指令、泄露上下文 输出违规或不安全内容 系统性偏差、隐蔽后门、持续性错误
排查方式 检查输入和上下文 进行安全评测与对抗测试 追溯数据、权重、知识库和构建流程
主要防护 输入隔离、指令分层、输出校验 安全策略、拒答机制、红队测试 数据治理、权重校验、来源审计、触发器测试

从影响方式看,提示注入和越狱更像是“运行时攻击”,攻击者主要利用一次请求影响模型;投毒则更接近“供应链或构建链攻击”,问题可能在系统上线前就被植入,并随着模型或知识源被重复使用。

四、大模型投毒的主要攻击层次

1. 预训练数据投毒

预训练阶段通常会使用大规模公开或内部语料。如果数据采集、清洗和去重流程不完善,攻击者可能通过发布大量低质量、误导性或带有特定模式的内容,影响后续训练数据。

该方式的特点是:

  • 覆盖范围可能较大;
  • 攻击者不一定需要接触模型训练环境;
  • 数据来源复杂,溯源和清理难度高;
  • 单条异常内容通常影响有限,但大规模重复或高一致性内容可能放大影响。

防护重点包括数据来源分级、内容质量评估、重复内容检测、异常分布分析和高风险语料人工复核。

2. 微调数据投毒

微调数据通常直接影响模型的任务行为。攻击者如果能够参与数据标注、数据整理或反馈采集,就可能构造带有偏置的问答样本,改变模型在特定场景下的回答方式。

与预训练投毒相比,微调投毒具有更强的定向性。例如,攻击者可以围绕特定任务、特定领域或特定关键词设计样本,使异常行为更集中、更容易触发。

治理时应重点关注:

  • 数据集的提交者和审批者权限;
  • 标注结果的一致性;
  • 异常样本比例和标签分布;
  • 微调前后的行为差异;
  • 特殊输入下的回归测试结果。

3. 模型权重投毒

模型权重是模型行为的核心载体。如果权重文件在发布、传输、存储或加载过程中被替换,使用者可能在不知情的情况下部署异常模型。

权重投毒的风险在于,普通功能测试可能无法发现问题。模型在常见问题上表现正常,但在特殊触发条件下产生异常结果。

因此,权重安全不能只依赖文件名或下载来源,还需要建立完整的校验机制:

  • 对权重文件进行完整性校验;
  • 保留版本、来源和构建记录;
  • 对关键模型进行离线行为基线测试;
  • 在正式部署前进行触发器扫描和敏感任务评测;
  • 限制未经审核的模型直接进入生产环境。

4. 检索知识库投毒

在检索增强生成系统中,模型回答不仅依赖参数,还依赖检索到的文档。如果知识库、网页抓取结果或内部资料被污染,模型就可能根据错误信息生成看似合理的回答。

检索投毒与传统模型投毒的区别在于,它不一定改变模型本身,而是改变模型能够看到的证据。

典型风险包括:

  • 文档中混入优先级伪造指令;
  • 多份资料之间存在刻意制造的矛盾;
  • 关键字段被替换或篡改;
  • 文档包含诱导模型泄露系统提示或执行额外操作的内容。

防护时应将检索内容视为“不完全可信数据”,而不是天然可信的系统指令。系统需要区分系统规则、业务指令和外部资料,并限制文档内容直接调用工具或修改业务状态。

五、为什么投毒比普通提示攻击更难治理

首先,投毒具有更强的隐蔽性。提示攻击往往能在请求日志中看到异常输入,而投毒可能早已存在于数据集、权重文件或知识库中。

其次,投毒具有更大的复用范围。一次被污染的模型可以被多个业务系统加载,一个被污染的知识源也可能影响多个应用。

再次,投毒的触发条件可能非常窄。若评测只覆盖常见问题,就可能出现“测试正常、上线异常”的情况。

最后,投毒需要跨环节排查。问题可能来自数据采集、清洗、标注、训练、模型发布、检索索引或应用编排,单独检查某一个环节往往不足以定位根因。

六、不同场景下的防护重点

研发和实验环境

研发阶段可以重点关注可追溯性和快速验证:

  1. 记录数据集、模型权重和知识库的版本;
  2. 对测试输入进行分类,覆盖常规、边界和疑似触发条件;
  3. 比较模型更新前后的输出差异;
  4. 对异常行为保留原始输入、上下文和检索结果;
  5. 不将未经审核的模型直接连接生产工具。

生产问答系统

生产系统需要重点防止外部内容改变系统行为:

  • 对用户输入、检索文档和系统指令进行分层;
  • 限制模型直接执行高风险操作;
  • 对检索结果进行来源、时效性和完整性校验;
  • 对敏感回答进行规则和模型双重审核;
  • 建立异常输出告警和人工复核流程。

自动化执行场景

当模型能够调用数据库、消息队列、业务接口或其他工具时,风险会进一步放大。此时不能只依赖模型“自觉遵守规则”,而应在工具层增加权限和审批控制。

可以采用如下通用流程:

  1. 用户请求
  2. ↓
  3. 输入安全检查
  4. ↓
  5. 意图识别与权限判断
  6. ↓
  7. 模型生成计划
  8. ↓
  9. 工具调用参数校验
  10. ↓
  11. 高风险操作人工确认
  12. ↓
  13. 执行并记录审计日志

即使模型受到提示注入或投毒影响,工具层仍应阻止越权操作。

七、如何建立面向投毒的评测体系

单纯测试模型能否回答常见问题是不够的。建议从以下维度建立评测集:

  1. 触发条件覆盖:测试关键词、短语、任务类型、语言变化和上下文变化。
  2. 行为一致性:比较模型在相似问题下是否出现不合理偏差。
  3. 数据来源追溯:检查异常回答引用了哪些文档、样本或知识片段。
  4. 版本回归测试:对模型、数据集和知识库更新进行前后对比。
  5. 安全边界测试:验证模型是否会因外部文档而改变系统级指令。
  6. 工具调用测试:检查异常内容是否能够进一步影响真实业务操作。

评测结果不应只记录“通过”或“失败”,还应保留触发条件、影响范围、复现概率和修复状态,以便后续定位。

八、选型与治理建议

如果系统主要面临用户输入风险,应优先加强提示分层、输入过滤、输出审核和会话隔离。

如果系统使用外部文档或检索知识库,应重点建设文档来源管理、内容清洗、权限控制和检索结果审计。

如果系统需要引入外部模型或第三方数据集,则应建立模型准入、权重校验、版本管理和离线安全评测流程。

如果系统具备自动执行能力,则应把安全边界下沉到工具和业务系统本身,避免将所有权限交给模型。

总体而言:

  • 提示注入更关注运行时上下文是否被恶意改变;
  • 越狱更关注安全规则是否被绕过;
  • 大模型投毒更关注模型、数据或知识源是否在使用前已经被植入异常行为。

九、总结

大模型投毒与提示注入、越狱并不是同一种问题。提示注入和越狱通常发生在推理阶段,影响可能集中在单次请求或当前会话;大模型投毒则可能发生在数据、微调、权重和检索知识库等多个环节,具有更强的持久性、隐蔽性和扩散性。

在实际治理中,不能只依赖输出过滤,也不能只做一次安全测试。更可靠的方式是建立覆盖数据来源、模型构建、权重发布、知识库维护、推理调用和工具执行的全流程防护体系。

选择防护方案时,应根据系统是否使用外部数据、是否允许模型调用工具、是否需要长期稳定运行以及团队的审计和运维能力进行判断。只有明确攻击入口、持续时间和影响边界,才能制定与风险相匹配的安全措施。