Unigram分词算法原理与实现机制解析

一、原理概述

在自然语言处理中，分词是文本进入模型前的第一道关键工序。面对海量词汇和未登录词问题，基于子词单元的分词方法已成为主流方案。Unigram分词算法是其中一类基于概率语言模型的分词方法，其核心思想是：假设每个子词单元在语料中独立出现，通过统计语料中各子词的出现概率，构建一个以子词为单位的概率语言模型，再在给定词表的前提下，寻找使整句概率最大的切分方式。

与基于合并规则的子词方法不同，Unigram分词采用“自顶向下”的策略：先从一个较大的候选词表出发，通过迭代裁剪，逐步精简为一个兼顾覆盖率和压缩率的子词集合。理解这一机制，对于掌握现代分词系统的设计逻辑具有重要意义。

二、背景问题：为什么需要Unigram分词

传统基于词的分词方法面临两个核心矛盾：

1. 词表膨胀：自然语言词汇量极大，若以完整词为单位建模，词表规模可能达到百万级，导致存储和计算开销巨大。
2. 未登录词问题：新词、专有名词、拼写变体等无法被固定词表覆盖，导致模型无法处理。

基于子词的分词方法通过将词拆分为更小的单元，在词表规模和表达 Coverage 之间取得平衡。Unigram分词进一步引入概率模型，使得切分结果不仅“可行”，而且“最优”——即在所有可能的切分方案中，选择概率最高的那一种。

三、核心概念

理解Unigram分词，需要先明确以下基础概念：

• 子词单元：词表中的基本单位，可以是完整词、词根、词缀或单个字符。
• 切分方案：将一个词拆分为若干子词单元的序列。例如“自然语言”可切分为“自然”+“语言”，也可切分为“自”+“然”+“语”+“言”。
• 概率模型：假设每个子词单元独立出现，一个切分方案的概率等于各子词概率的乘积。
• EM算法：用于在词表未知时估计各子词的出现概率，通过迭代的期望步和最大化步逐步收敛。
• Viterbi算法：在给定词表和概率的前提下，高效寻找概率最大的切分路径。
• 剪枝：从候选词表中移除对整体概率贡献最小的子词，逐步压缩词表规模。

四、系统组成与工作流程

Unigram分词的完整流程可分为四个阶段：

4.1 候选词表初始化

从训练语料中统计所有可能的子词单元。常见做法包括：

• 统计所有完整词；
• 统计所有词的前缀和后缀；
• 统计所有单个字符；
• 可结合字节对编码等方法的中间结果作为候选。

初始词表通常远大于目标词表，规模可达数十万甚至百万级。

4.2 概率估计（EM算法）

在词表确定但概率未知时，使用EM算法估计各子词的出现概率：

期望步（E步） ：对于语料中的每个词，根据当前概率计算所有可能切分方案的后验概率，并计算各子词在每种切分中的期望出现次数。

最大化步（M步） ：根据期望出现次数，重新估计各子词的概率，通常采用归一化频率。

反复迭代E步和M步，直到概率收敛或达到最大迭代次数。

其伪代码示意如下：

初始化：为每个子词赋予均匀概率
重复直到收敛：
    E步：
        对每个词 w：
            枚举 w 的所有切分方案
            计算每种方案的概率 P(切分) = ∏ P(子词)
            归一化得到后验概率
            累加各子词的期望计数
    M步：
        对每个子词：
            更新概率 = 期望计数 / 总计数

4.3 词表剪枝

当词表过大时，需要裁剪。剪枝的核心是评估每个子词对整体似然的贡献：

• 计算移除某子词后，语料整体对数似然的变化；
• 移除使似然下降最小的子词（即贡献最小者）；
• 重复裁剪，直到词表规模达到目标值。

剪枝过程中需注意：某些子词被移除后，其功能可由其他子词组合替代，因此需要重新评估剩余子词的贡献。

4.4 最优切分（Viterbi算法）

给定最终词表和概率后，对任意输入词进行切分时，使用Viterbi算法在切分网格中寻找概率最大的路径：

• 将词表示为字符序列；
• 构建有向无环图，节点为字符位置，边为候选子词；
• 每条边的权重为子词概率的对数；
• 从起点到终点寻找最长路径（对数概率最大）。

伪代码示意：

输入：词 w，词表 V，概率 P
初始化：best[0] = 0，best[i] = -∞
对 i 从 1 到 len(w)：
    对 j 从 0 到 i-1：
        若 w[j:i] 在 V 中：
            得分 = best[j] + log P(w[j:i])
            若得分 > best[i]：
                best[i] = 得分
                backpointer[i] = j
回溯 backpointer 得到切分方案

五、关键机制深入分析

5.1 概率建模为何有效

Unigram模型假设子词独立，虽然简化了语言的实际依赖关系，但在分词任务中，这种简化反而带来了计算上的可行性和稳定性。因为分词的核心目标是找到“合理的切分”，而非精确建模语言概率。独立假设使得切分方案的概率可以分解为局部乘积，从而支持动态规划求解。

5.2 EM算法的作用与局限

EM算法在词表未知时估计概率，其优势在于无需标注数据。但EM算法对初始值敏感，可能收敛到局部最优。实践中常采用多次随机初始化或结合先验知识来缓解。

5.3 剪枝策略的影响

剪枝不仅压缩词表，还影响分词的粒度。过度剪枝会导致长词被拆散，增加序列长度；剪枝不足则词表冗余，影响效率。因此，目标词表大小的选择需要根据任务在压缩率与表达力之间权衡。

5.4 Viterbi算法的效率

Viterbi算法的时间复杂度为O(n²)，其中n为词长。对于常见词长（<20），计算开销可忽略。但对于超长字符串，需结合最大子词长度限制来优化。

六、示例说明

假设词表包含以下子词及概率：

子词	概率
自	0.1
然	0.1
自然	0.3
语	0.1
言	0.1
语言	0.3

对词“自然语言”：

• 切分1：自然 + 语言 → 概率 = 0.3 × 0.3 = 0.09
• 切分2：自 + 然 + 语 + 言 → 概率 = 0.1⁴ = 0.0001
• 切分3：自然 + 语 + 言 → 概率 = 0.3 × 0.1 × 0.1 = 0.003

Viterbi算法将选择概率最大的切分1。

七、技术优势与限制

优势：

• 概率框架使切分结果可比较、可优化；
• 支持未登录词，通过子词组合覆盖新词；
• 词表规模可控，便于部署。

限制：

• 独立假设忽略子词间依赖，可能产生不自然的切分；
• EM训练耗时，尤其在大语料上；
• 剪枝过程计算量大，需要高效实现；
• 对形态丰富的语言，可能不如基于规则的方法精确。

八、常见误区

1. 误以为Unigram只能处理单词：实际上它处理的是任意字符串，可跨词边界。
2. 混淆Unigram与BPE：BPE基于合并频率，自底向上；Unigram基于概率剪枝，自顶向下。
3. 认为概率越高切分越“正确”：概率反映的是语料统计规律，未必符合语言学语义。
4. 忽略剪枝与EM的耦合：剪枝后需重新估计概率，否则概率失真。

九、总结

Unigram分词算法通过概率语言模型将分词问题转化为最优路径搜索问题，其核心机制包括EM参数估计、词表剪枝和Viterbi解码。这一框架在词表规模、未登录词处理和切分精度之间取得了平衡，成为现代分词系统的重要基础。理解其底层逻辑，有助于在实际应用中合理配置词表大小、调整剪枝策略，并正确解读分词结果。