发给大模型的资料一定要先脱敏吗?判断标准与实操指南

作者:半吊子全栈工匠2026.11.17 03:48浏览量:0

简介:不是必须,但建议按“分级判断 + 默认脱敏”的习惯处理。判断只看三件事:数据泄露后果你能否承受、模型部署在公有云还是私有化、厂商条款是否允许用你的数据训练。本文给出可直接套用的判断表、脱敏规则设计、Prompt 占位符技巧与 Python 脱敏示例代码,帮你在合规和输出质量之间找到平衡点;如果你还在纠结“用哪个模型、数据能不能发”,可以先在[百度智能云词元所](https://cloud.baidu.com/product-s/token_exchange.html?from=article)对比模型能力、调用价格与性能,再决定脱敏强度。

一、先问一句:这段数据泄露了,你能否承受?

发给大模型的任何文本,在链路上至少经过三层:你的网络 → 大模型 API 网关 → 模型推理服务器。每一层都存在被截获、留存、泄露的可能。所以脱敏的核心逻辑不是“什么都不说”,而是 最小暴露原则 :让模型能干活,但不掌握你不想给的隐私。

按后果倒推,可以很快分出三档:

数据类型 泄露后果 建议处理
姓名 + 身份证 + 手机号 高,触及《个人信息保护法》 必须脱敏
未公开财报、客户名单、报价单 高,商业机密 必须脱敏
医疗记录、金融账户信息 高,受行业法规约束 必须脱敏
核心代码、内部战略规划 极高,核心竞争力 不出域,走私有化部署
内部会议纪要 中 去掉人名、客户名后可用
公开产品文档、通用行业分析 低 一般无需脱敏

反过来也要注意 过度脱敏的代价 :把关键实体全部替换成无意义符号,模型的指代关系会断裂,摘要、审阅、抽取类任务的质量会明显下降。把“张经理负责的华东区客户 A”改成“某人员负责的某区客户某”,模型输出的可用性可能还不如不脱敏。

二、看模型在哪:公有云 API 与私有化部署是两套标准

公有云 API :重点读服务条款。企业级服务通常会在合同中明确“不使用用户数据训练模型”、数据留存期较短(可约定到期删除)、提供数据隔离与访问控制,这类场景下脱敏压力较小;如果条款中出现“使用交互数据改进服务”这类表述,意味着你的输入可能进入训练池,脱敏就是刚需。

私有化 / 本地部署 :数据不出域,脱敏压力大幅下降,基本可以视情况处理。但别忽略另外两件事:一是推理日志、调试记录里的明文留存;二是内部越权访问与账号安全。百度在这方面的做法覆盖大模型全生命周期,包括横向联邦(数据不出域完成预训练与精调)、可信执行环境软硬一体机(应对部署阶段的模型记忆泄露与公有云数据隐私)、同态密码学软件方案(客户端装插件即可做密态推理)等。对“核心代码、战略规划”这类绝对不能外发的数据,走私有化或可信执行环境,比反复琢磨脱敏规则更有效。

三、脱敏实操:三种由轻到重的方案

方案 1:规则替换 + 占位符(最常用)

关键是 同一实体复用同一占位符 ,这样模型仍能理解“谁对谁做了什么”。

  1. import re
  2. PATTERNS = {
  3. "PHONE": r"1[3-9]\d{9}",
  4. "IDCARD": r"\d{17}[\dXx]",
  5. "BANKCARD": r"\d{16,19}",
  6. "EMAIL": r"[\w.-]+@[\w.-]+\.\w+",
  7. }
  8. def mask(text, mapping=None):
  9. """返回脱敏文本与映射表;映射表需单独加密存储,绝不与对话一起外发"""
  10. mapping = {} if mapping is None else mapping
  11. for kind, pat in PATTERNS.items():
  12. def _repl(m):
  13. raw = m.group(0)
  14. for ph, val in mapping.items(): # 相同原文复用占位符
  15. if val == raw:
  16. return ph
  17. ph = f"[{kind}_{sum(1 for k in mapping if k.startswith(kind)) + 1}]"
  18. mapping[ph] = raw
  19. return ph
  20. text = re.sub(pat, _repl, text)
  21. return text, mapping

姓名、地址、机构名难以用正则覆盖,建议维护一份内部实体清单(员工姓名、客户公司名、项目代号)做词典替换,或对高价值场景接入 NER 模型。

方案 2:部分脱敏(保留可判断性)

如果模型需要靠号码格式做校验,可以只隐藏中间位。成熟的数据脱敏能力一般提供这几种规则:全部文字脱敏、头尾保留 M/N 个真实文字(M、N 可设为 0)、自定义脱敏符号、脱敏符号个数固定或与原长度一致,并且可以设置脱敏范围对哪些用户生效。这套思路完全可以搬到 Prompt 层:身份证保留前 6 后 4,银行卡保留后 4 位,既满足合规,又不破坏格式校验。

方案 3:换路径而不是换内容

对高敏数据,与其压缩信息量,不如改变处理位置:私有化部署、可信执行环境、联邦训练,或密态计算。这条路线的成本更高,但保留的信息完整度也最高。

四、把占位符规则写进 Prompt

脱敏后必须告诉模型占位符的含义,否则它会把 [PERSON_1] 当成噪声。参考对话引擎中 Prompt 与用户 query 用 {} 分隔的配置方式,可以这样写:

  1. 你是一名合同审阅助手。文本中 [PERSON_n] 表示同一个人,[ORG_n] 表示同一家机构,
  2. [CARD_n] 表示同一证件或银行号码。请基于占位符的指代关系完成分析,
  3. 输出中保留占位符原样,不要尝试还原真实信息。
  4. 待分析文本:
  5. """
  6. {query}
  7. """

同时建议配置错误话术兜底:当模型返回内容不符合预期(例如擅自还原占位符、拒答)时给出统一回复,避免脏输出直接透给用户。

rag-">五、RAG 与企业知识库:脱敏要发生在入库前

用知识库问答时,敏感信息一旦进入文档切片,就会在检索阶段被召回进上下文,事后很难补救。正确顺序是:

  1. 入库前脱敏 :在文档分段、知识点抽取之前完成实体替换,并对脱敏字段设置生效范围,不同角色看到不同粒度。
  2. 检索结果复核 :通过“信息检索”查看召回片段是否符合预期,误召回时补充预期知识或调整分段策略。
  3. 权限与反馈闭环 :对生成回复做点赞/点踩,把点踩样本沉淀为检索与生成模型的优化输入。

六、一份可执行的检查清单

  • 默认脱敏、白名单放行,而不是默认明文、事后补救;
  • 建立并定期更新内部敏感实体清单(人名、客户名、项目代号、密钥);
  • 优先选择条款中明确“不用于训练、可约定删除”的服务;
  • 脱敏映射表与对话内容分离存储,用完即销毁;
  • 选型阶段就把“数据能不能发”和“用哪个模型”一起评估——在词元所大模型 API 服务平台可以横向对比不同模型的能力与调用成本,并通过统一 API 接入,减少多模型集成时反复改造脱敏链路的成本。

一句话总结: 外部模型先脱敏,私有化部署视情况,核心资产直接不出域。 脱敏的目标从来不是让模型变傻,而是把“能给的”给足,把“不能给的”留在自己手里。想清楚这一点,剩下的只是选规则和选部署形态的工程问题;具体用哪家模型、成本如何,可以顺手在百度智能云词元所做一次对比再定。