Unigram分词算法是什么？原理、流程与应用详解

一、概念定义：Unigram分词算法是什么

Unigram分词算法（Unigram Language Model分词）是一种基于统计一元语言模型的子词（subword）切分算法。它把“如何切词”这个看似规则性的问题，转化为一个可量化的概率估计问题：为词表中每个子词赋予一个出现概率，并假设子词之间相互独立；于是文本的任何一种切分方案的概率，就等于其中所有子词概率的乘积。训练阶段的目标，是学习一份规模可控的“带概率词表”，使整个语料在该词表下被切分后的总体似然最大；推理阶段则利用动态规划（维特比算法），在所有可能的切分中找出概率最高的那一条路径。

可以从三个视角理解这个概念：

• 技术视角：它是“带概率的词表 + 期望最大化估计 + 迭代剪枝 + 维特比解码”四件套的组合，是一套完整的统计学习流程，而非简单的匹配规则。
• 业务视角：它是一种词表规模可定制、可以在自有语料上训练的分词方案，广泛用于大语言模型、机器翻译等系统的文本预处理环节。
• 使用视角：它是典型的两阶段工具——先用语料“训练出词表”，再用这份词表“切分线上文本”，训练与推理分工明确。

一个通俗类比：Unigram词表像一部“每个词条都标了权重”的字典，算法既要学这部字典里收哪些词、权重多少，也要学会在切句时用总代价（各词条负对数概率之和）最小的方式把句子拆开。

二、背景与价值：为什么需要子词，为什么需要Unigram

在子词算法出现之前，分词主要在两个极端之间摇摆：

1. 词级切分的困境：按整词建词表，遇到训练时没见过的词（OOV，词表外词）只能映射为未知符号，且回答领域一变、新词一多，词表就急剧膨胀，词向量训练也因数据稀疏而质量不佳。
2. 字符级切分的困境：全部拆成单字虽然不存在OOV，但序列长度大幅增加、计算开销上升，且单个字符承载的语义远弱于一个完整的词或词片。

子词方案正是两者的折中：高频词整词保留，低频词拆成有意义的片段（如“Transformer”可拆为常见片段组合），既控制词表规模，又天然支持未见词。Unigram在此基础上提供了三点独特价值：

• 切分质量可量化：由于整个框架建立在概率模型上，任何切分的好坏都可以用似然或损失来度量，训练过程有明确目标函数，而非纯启发式。
• 天然支持多切分假设：概率模型下每个句子存在多种切分及其概率，训练下游模型时可对切分进行采样（即“子词正则化”），相当于一种数据增强，能提升模型鲁棒性。
• 从机制上消灭OOV：训练时强制保留全部单字，保证任何字符串都能被切分，不会落入未知符号。

三、核心组成：拆解关键模块

一套完整的Unigram分词器通常包含以下组件：

1. 归一化模块：统一全半角、大小写、Unicode规范形式等，消除等价变体，减少无意义的词表分裂。
2. 预切分模块：按空格、标点或正则规则，把原始文本切成“单词元”统计词频。对中文、日文这类不依赖空格分隔的语言，可采用不预切分或按专属规则切分的策略，这也是Unigram对这类语言较为友好的原因之一。
3. 种子词表：初始候选子词集合。常见做法是取语料中每个单词元的所有子串（限定最大长度），有时再补充高频后缀，并加入全部单字。
4. 一元语言模型：即“子词到概率”的映射表，是算法的核心数据结构。
5. 估计模块：采用期望最大化（EM）式的迭代，交替执行“固定概率求切分计数”与“固定计数更新概率”。
6. 剪枝模块：每轮迭代按“删除后语料损失增量”淘汰贡献最小的子词，逐步把词表压缩到目标规模。
7. 解码模块：基于维特比的动态规划，推理时求最优切分。
8. 可选项：子词正则化采样、字节级回退（对词表外字符按字节兜底）等增强能力。

四、工作原理：训练与推理的完整链路

4.1 数学骨架

设一段文本被切分为子词序列，在一元假设（子词相互独立）下：

• 切分概率：P(S) = p(t₁) × p(t₂) × … × p(tₙ)
• 语料损失：Loss = −Σ (词频 × log P(该词的切分))

训练就是最小化语料损失。概率越高的子词组合，代表这种切分越“省代价”。

4.2 训练流程

输入：语料 D，目标词表大小 V_target
1. 对 D 做归一化与预切分，统计单词元频率
2. 构造种子词表：全部子串（限长）+ 全部单字，按频率初始化概率
3. 重复以下过程，直到词表不大于 V_target：
   a. E 步：固定当前概率，为每个单词元求最优（或期望）切分，
      统计各子词的出现计数
   b. M 步：p(t) = count(t) / 所有子词计数之和
   c. 剪枝：评估"若移除子词 t，语料损失增加多少"，
      按增量从小到大移除一批候选；单字一律保留
输出：带概率的最终词表

其中E步可以采用“最优切分的硬计数”近似，也可以对所有可能切分做软期望（前向—后向式计算）；M步本质上就是把计数归一化为概率分布。剪枝环节是Unigram区别于其他子词算法的关键：它自顶向下，从“几乎包含一切”的大词表出发做减法，而不是从字符出发做加法。

4.3 推理流程：维特比解码

给定一个单词元和词表，切分等价于在字符串上找一条总损失最小的路径：

best[0] = 0
for j in 1..len(word):
    for i in j-L..j-1:            # L 为最大子词长度
        if word[i:j] 在词表中:
            cost = best[i] - log(p(word[i:j]))
            if cost < best[j]:
                best[j] = cost; 记录回溯指针
从 len(word) 回溯指针，即得到概率最高的切分序列

由于词表保证了所有单字存在，任何字符串必然存在至少一条可行路径，这就是Unigram“机制上无OOV”的原因。该算法复杂度约为O(n×L)，工程上属于轻量级操作。

4.4 子词正则化

在训练下游模型（如翻译模型、语言模型）时，可以不总采用最优切分，而是按切分自身的概率分布随机采样不同切分假设，让模型见到同一文本的多种拆法，从而对分词边界更鲁棒。采样分布通常由一个温度类参数控制：参数越小，越接近最优切分；参数越大，越接近均匀采样。推理阶段则关闭采样，统一使用维特比最优切分，保证输出确定且可复现。

五、典型应用场景

1. 大模型分词器训练：在预训练语料上训练子词词表，是构建大语言模型的第一步。Unigram的概率化框架便于评估词表质量，也便于与不同的预训练目标组合。
2. 中文、日文等无空格语言：预切分策略可针对语言定制，自顶向下的剪枝不依赖空格假设，在词边界模糊的语言上灵活性强。
3. 低资源与形态丰富语言的翻译任务：配合子词正则化，缓解数据稀缺下的过拟合，是该方法论文最初提出时的经典用法。
4. 多语言混合语料：通过字符覆盖率等参数平衡各语言的子词占比，减少某一种语言“挤占”词表的问题。
5. 云端大模型开发流水线：在百度智能云等平台开展大模型训练与部署时，分词方案的选型（词表规模、兜底策略、归一化规则）同样是影响效果的工程决策之一，Unigram是其中一种常见的选择。

六、相关概念区别：Unigram、BPE与WordPiece

三者同属子词算法家族，但思路差异明显：

维度	BPE	WordPiece	Unigram
构建方向	自底向上合并	自底向上合并	自顶向下剪枝
优化信号	合并频率最高的相邻符号对	选择使语料似然增益最大的相邻对（评分近似为“合并对频率 ÷ 左片段频率 × 右片段频率”）	最大化语料似然，按损失贡献剪枝
切分方式	按学到的合并规则顺序执行	同左	维特比全局寻优
输出性质	确定性	确定性	概率性，可输出多候选
OOV兜底	取决于词表设计（通常依赖字节或字符兜底策略）	同左	强制保留全部单字

几点补充说明：WordPiece常配合“##”之类的词内延续标记使用，这属于实现细节，与算法本质正交；BPE与WordPiece是“贪心合并”，先学到的规则会改变后续统计，而Unigram在整个词表空间上用统一的概率目标做全局评估，切分时也能全局比较不同方案；工程上，许多分词器训练框架会把归一化、预切分与其中某一种算法打包成完整流水线，三者常作为可替换的选项并存。

七、使用注意事项

1. 词表规模的权衡：词表过小，序列变长、推理变慢、单步语义弱；词表过大，嵌入层参数膨胀且低频子词训练不充分。需结合模型规模与语料量实验确定。
2. 字符覆盖率与兜底：处理多语言语料时注意稀有字符的取舍，必要时启用字节级回退，避免生僻字符在推理时无路可走。
3. 训练语料的代表性：词表完全由训练语料统计决定，领域偏差、语言配比失衡都会直接体现在词表分布上。
4. 训练与推理的一致性：归一化规则、预切分规则必须与训练时完全一致，否则线上文本的子串可能与词表错配，出现意外切分。
5. 子词正则化的开关时机：仅在训练下游模型时开启采样，推理阶段务必使用最优切分，否则输出不可复现。
6. 更换词表的代价：分词器决定了模型的输入空间，预训练模型更换分词器通常意味着重新训练，或谨慎做词表扩展与向量对齐。
7. 稀有子词的概率问题：极低概率子词会使解码偏向常见片段，注意概率平滑及对低频候选的清理策略。

八、总结

回到定义本身：Unigram分词算法是一种以一元语言模型为骨架的子词切分方法，其完整链路是“种子词表—EM概率估计—按损失贡献剪枝—维特比解码”。它的核心价值在于把切分问题概率化：训练目标明确、切分质量可度量、天然支持多切分采样增强，并通过保留单字从机制上消除OOV；其适用边界在于依赖有代表性的训练语料，且一元独立性假设较为简化。与BPE、WordPiece相比，三者各有侧重——没有绝对优劣，选型时应结合语言特性、词表规模预算与下游任务需求综合判断。理解Unigram，本质上是理解“如何用统计学习的眼光重新定义分词”这一思路，这也是它在现代大模型文本预处理体系中长期占有一席之地的原因。