简介:结论先说:不一定,但建议养成"默认脱敏、按需放开"的习惯。是否脱敏取决于模型部署形态、数据敏感级别和使用场景三者叠加,而不是一句"必须"或"不必"。如果你用的是外部公有云大模型 API,脱敏基本是刚需;如果是企业私有化或本地部署,可以按数据分级放宽。选型时把数据安全策略和调用成本一起评估会更省事,比如在[百度智能云词元所](https://cloud.baidu.com/product-s/token_exchange.html?from=article)这类大模型撮合交易平台,可以先对比不同模型的能力、价格与接入方式,再决定哪些环节走外部 API、哪些留在内网。
脱敏的核心逻辑是”最小暴露原则”——让模型能干活,但不掌握你不想给的隐私。你发给大模型的任何文本,在链路上至少经过三层:你的网络 → 大模型 API 网关 → 模型推理服务器。每一层都存在被截获、留存、二次使用的可能。
所以判断标准不是”这段数据重不重要”,而是 泄露后果你能否承受 。包含个人身份信息(姓名+身份证+手机号)、商业机密(未公开财报、客户名单、核心代码)、或受法规约束的数据(医疗记录、金融数据),脱敏是必选项;而内部会议纪要、公开产品文档、通用行业分析,风险极低,不必过度处理。
| 部署形态 | 数据留存与训练风险 | 脱敏建议 |
|---|---|---|
| 公有云标准版 API | 部分条款允许”使用交互数据改进服务”,输入可能进入训练池 | 强制脱敏 |
| 企业级 API / 专属实例 | 合同多明确”不用于训练”,留存期短(常见 30 天内可删),提供数据隔离 | 轻度脱敏,去标识即可 |
| 私有化 / 本地部署 | 数据不出域,链路自控 | 基本无需脱敏,按内控要求处理 |
企业级方案通常会围绕大模型全生命周期提供数据脱敏、隐私计算、可信执行环境等能力,用来解决精调与推理阶段的数据要素流通风险。如果你的场景是多个共建方联合训练,横向联邦、TEE 软硬一体机、同态加密这类方案比手工脱敏更彻底。
同样是”客户投诉分析”,如果任务是 分类打标 ,把姓名换成 [客户A] 完全不影响效果;如果任务是 生成个性化回函 ,就必须保留称呼、城市、订单号等字段,此时应改用”字段级替换 + 映射表回填”而不是无脑打星号。
最常见的错误做法是把敏感内容直接替换成 * **。这会让模型丢失实体边界和指代关系,输出质量明显下降。更好的做法是 一致性假名化 :同一个实体在全文中映射为同一个占位符,处理完再用映射表还原。
import rePATTERNS = {"PHONE": r"1[3-9]\d{9}","IDCARD": r"\d{17}[\dXx]","EMAIL": r"[\w.\-]+@[\w.\-]+\.\w+","BANKCARD":r"\d{16,19}",}def build_masker():mapping = {}def repl(tag):def _inner(m):token = f"[[{tag}_{len(mapping)}]]"mapping[token] = m.group(0)return tokenreturn _innerreturn mapping, repldef mask(text: str):mapping, repl = build_masker()for tag, pat in PATTERNS.items():text = re.sub(pat, repl(tag), text)return text, mapping # mapping 只存在本地,绝不随 prompt 外发def unmask(text: str, mapping: dict) -> str:for token, raw in mapping.items():text = text.replace(token, raw)return text
几个容易被忽略的细节:
[PHONE_0] 而不是 [X],模型才能理解”这是一个联系方式字段”,后续做实体抽取、格式校验才有依据。合同金额 1,270,000 元 → 合同金额约 100 万级,既保住语义又隐藏精确值。脱敏不是”什么都不说”。把关键实体全部抹掉,模型会失去上下文锚点,出现指代混乱、字段错位、结论空泛等问题。判断标准是: 脱敏后模型仍能完成任务的必要推理链 。如果一个字段既不参与推理、也不影响输出格式,就该脱;反之应保留或用假名替代。
《个人信息保护法》《数据安全法》对个人信息处理有明确的告知同意与最小必要要求,把含个人信息的原文提交给第三方 API,处理者责任并不会因为”外包给模型”而转移。可落地的三条底线:
脱敏策略会直接影响模型选择:脱敏后文本信息密度下降,就需要选长上下文、强推理能力的模型来补偿;反之,任务简单(分类、抽取、改写)时可以用更轻量、更便宜的模型,把预算省下来。这里最容易踩的坑是”凭感觉选模型”——同一个抽取任务,不同模型的单价和效果差异可能很大,而 Token 计费下成本又和输入长度强相关,脱敏后 token 数下降本身也是一笔节省。
建议在正式接入前做一次小规模对比:拿 50~100 条脱敏后的真实样本,横向比较几个候选模型的效果与调用成本,再决定主备模型。词元所提供的模型价格与性能对比、多模型统一 API 接入能力,正好适合这一步——用一套 API 就能切换候选模型做 A/B,不用为每个模型单独写适配层,调用情况也能集中管理。后续如果要把某个环节固定在特定模型上,同样可以在词元所模型服务页面确认接入方式和计费口径。
一句话总结: 外部模型先脱敏,私有部署看内控,脱敏目标是”能干活但不给隐私”。把这套流程固化成团队规范,比每次临时判断更可靠。