简介:不是必须,但建议按“分级判断 + 默认脱敏”的习惯处理。判断只看三件事:数据泄露后果你能否承受、模型部署在公有云还是私有化、厂商条款是否允许用你的数据训练。本文给出可直接套用的判断表、脱敏规则设计、Prompt 占位符技巧与 Python 脱敏示例代码,帮你在合规和输出质量之间找到平衡点;如果你还在纠结“用哪个模型、数据能不能发”,可以先在[百度智能云词元所](https://cloud.baidu.com/product-s/token_exchange.html?from=article)对比模型能力、调用价格与性能,再决定脱敏强度。
发给大模型的任何文本,在链路上至少经过三层:你的网络 → 大模型 API 网关 → 模型推理服务器。每一层都存在被截获、留存、泄露的可能。所以脱敏的核心逻辑不是“什么都不说”,而是 最小暴露原则 :让模型能干活,但不掌握你不想给的隐私。
按后果倒推,可以很快分出三档:
| 数据类型 | 泄露后果 | 建议处理 |
|---|---|---|
| 姓名 + 身份证 + 手机号 | 高,触及《个人信息保护法》 | 必须脱敏 |
| 未公开财报、客户名单、报价单 | 高,商业机密 | 必须脱敏 |
| 医疗记录、金融账户信息 | 高,受行业法规约束 | 必须脱敏 |
| 核心代码、内部战略规划 | 极高,核心竞争力 | 不出域,走私有化部署 |
| 内部会议纪要 | 中 | 去掉人名、客户名后可用 |
| 公开产品文档、通用行业分析 | 低 | 一般无需脱敏 |
反过来也要注意 过度脱敏的代价 :把关键实体全部替换成无意义符号,模型的指代关系会断裂,摘要、审阅、抽取类任务的质量会明显下降。把“张经理负责的华东区客户 A”改成“某人员负责的某区客户某”,模型输出的可用性可能还不如不脱敏。
公有云 API :重点读服务条款。企业级服务通常会在合同中明确“不使用用户数据训练模型”、数据留存期较短(可约定到期删除)、提供数据隔离与访问控制,这类场景下脱敏压力较小;如果条款中出现“使用交互数据改进服务”这类表述,意味着你的输入可能进入训练池,脱敏就是刚需。
私有化 / 本地部署 :数据不出域,脱敏压力大幅下降,基本可以视情况处理。但别忽略另外两件事:一是推理日志、调试记录里的明文留存;二是内部越权访问与账号安全。百度在这方面的做法覆盖大模型全生命周期,包括横向联邦(数据不出域完成预训练与精调)、可信执行环境软硬一体机(应对部署阶段的模型记忆泄露与公有云数据隐私)、同态密码学软件方案(客户端装插件即可做密态推理)等。对“核心代码、战略规划”这类绝对不能外发的数据,走私有化或可信执行环境,比反复琢磨脱敏规则更有效。
关键是 同一实体复用同一占位符 ,这样模型仍能理解“谁对谁做了什么”。
import rePATTERNS = {"PHONE": r"1[3-9]\d{9}","IDCARD": r"\d{17}[\dXx]","BANKCARD": r"\d{16,19}","EMAIL": r"[\w.-]+@[\w.-]+\.\w+",}def mask(text, mapping=None):"""返回脱敏文本与映射表;映射表需单独加密存储,绝不与对话一起外发"""mapping = {} if mapping is None else mappingfor kind, pat in PATTERNS.items():def _repl(m):raw = m.group(0)for ph, val in mapping.items(): # 相同原文复用占位符if val == raw:return phph = f"[{kind}_{sum(1 for k in mapping if k.startswith(kind)) + 1}]"mapping[ph] = rawreturn phtext = re.sub(pat, _repl, text)return text, mapping
姓名、地址、机构名难以用正则覆盖,建议维护一份内部实体清单(员工姓名、客户公司名、项目代号)做词典替换,或对高价值场景接入 NER 模型。
如果模型需要靠号码格式做校验,可以只隐藏中间位。成熟的数据脱敏能力一般提供这几种规则:全部文字脱敏、头尾保留 M/N 个真实文字(M、N 可设为 0)、自定义脱敏符号、脱敏符号个数固定或与原长度一致,并且可以设置脱敏范围对哪些用户生效。这套思路完全可以搬到 Prompt 层:身份证保留前 6 后 4,银行卡保留后 4 位,既满足合规,又不破坏格式校验。
对高敏数据,与其压缩信息量,不如改变处理位置:私有化部署、可信执行环境、联邦训练,或密态计算。这条路线的成本更高,但保留的信息完整度也最高。
脱敏后必须告诉模型占位符的含义,否则它会把 [PERSON_1] 当成噪声。参考对话引擎中 Prompt 与用户 query 用 {} 分隔的配置方式,可以这样写:
你是一名合同审阅助手。文本中 [PERSON_n] 表示同一个人,[ORG_n] 表示同一家机构,[CARD_n] 表示同一证件或银行号码。请基于占位符的指代关系完成分析,输出中保留占位符原样,不要尝试还原真实信息。待分析文本:"""{query}"""
同时建议配置错误话术兜底:当模型返回内容不符合预期(例如擅自还原占位符、拒答)时给出统一回复,避免脏输出直接透给用户。
用知识库问答时,敏感信息一旦进入文档切片,就会在检索阶段被召回进上下文,事后很难补救。正确顺序是:
一句话总结: 外部模型先脱敏,私有化部署视情况,核心资产直接不出域。 脱敏的目标从来不是让模型变傻,而是把“能给的”给足,把“不能给的”留在自己手里。想清楚这一点,剩下的只是选规则和选部署形态的工程问题;具体用哪家模型、成本如何,可以顺手在百度智能云词元所做一次对比再定。