Unigram分词算法实战教程:原理与实现

作者:狼烟四起2026.11.18 11:22浏览量:0

简介:本文带你完整掌握Unigram(一元语言模型)子词分词算法:从子词分词的动机出发,深入讲解一元语言模型、EM期望最大化训练、Viterbi最优切分、词表剪枝与子词正则化等核心机制,并给出可落地的训练流程、伪代码示例、参数配置思路、结果验证方法与常见问题排查方案,帮助 NLP 开发者独立完成一套子词分词器的设计与调优。

一、教程目标

本教程要帮助你完成的事情是:独立理解并实现一套基于 Unigram(一元语言模型)的子词分词器,最终产出一个满足指定词表规模的切分模型,并能够对外提供”整词最优切分”与”采样式切分”两种能力。

子词分词是现代自然语言处理流水线的第一环。它把原始文本切成模型可处理的 token 序列,直接决定了词表覆盖率、序列长度和模型对未登录词(OOV)的鲁棒性。掌握 Unigram 算法,你就掌握了目前业界最主流的子词切分思路之一。

二、适用读者与场景

  • NLP 应用开发者:需要为大语言模型、机器翻译、文本分类等任务构建或替换分词器。
  • 算法工程师:希望理解 BPE 之外的另一条技术路线,并在两者间做出选型。
  • 技术负责人:评估不同分词方案在语料覆盖、词表体积与推理开销上的权衡。

典型适用场景包括:低资源语言的文本处理、领域定制词表(如医疗、法律、代码)、多语言混合语料、需要词表体积可精确控制的场景,以及希望通过采样切分提升模型泛化能力的研究性任务。

三、前置准备

知识基础:

  • 基本的概率与对数运算,理解乘积取对数后化为求和。
  • 动态规划思想(用于理解 Viterbi 与前后向算法)。
  • EM 算法的基本直觉:通过”估计隐含变量→更新参数”的交替迭代收敛。

语料准备:

  • 一份足够大的、经清洗的单语语料(去重、去空白异常、统一编码为 UTF-8)。
  • 每个词或句子保留其原始出现频次,频次在训练中被直接使用。

环境准备:

  • 任意支持数值计算与字典操作的通用编程语言即可,无需依赖特定平台的专有接口。
  • 硬件方面,普通开发机可处理百万级词频的语料;大规模语料建议启用多进程并行统计。

四、为什么用 Unigram:先理解动机

传统切分要么按整词(词表巨大、OOV 严重),要么按字符(序列过长、语义丢失)。子词切分介于两者之间,用”高频整词 + 低频词拆成子词”的方式兼顾覆盖率与序列长度。

Unigram 与另一条常见路线(自底向上的成对合并,即 BPE)的根本区别在于:

  • BPE 是确定性的、贪心的、自底向上合并,每一步合并固定不变,推理时唯一。
  • Unigram 是概率性的、自顶向下剪枝,给定一句话可以有多种切分,并能为每种切分打分;推理时既能取最优,也能按概率采样。

这种”一对多”特性带来两个优势:一是训练目标明确(最大化语料似然),二是采样切分天然构成一种数据增强,提升模型鲁棒性。

五、核心原理

5.1 一元语言模型

假设一个子词序列 x = [x₁, x₂, ..., xₙ] 中各子词相互独立,则整个词出现的概率为各子词概率的乘积:

  1. P(x) = ∏ P(xᵢ)

其中每个子词 xᵢ 有一个概率 P(xᵢ)。给定一个词,它可能存在多种切分方式,每一种切分都对应一个”切分格”(lattice)。我们关心两件事:

  1. 最优切分:使乘积最大的那条路径(用 Viterbi 求解)。
  2. 整词概率:所有切分路径概率之和(用前后向算法求解)。

5.2 用 EM 训练概率

在已知词表结构、未知各子词概率时,用 EM 迭代:

  • E 步:在当前概率下,对每个词跑前后向算法,得到每个子词的”期望出现次数”(某子词参与的所有切分路径的后验概率之和,再乘以词频)。
  • M 步:把所有词的期望次数累加,归一化得到新概率:
  1. P(xᵢ) = 期望计数(xᵢ) / 全部期望计数之和

交替迭代直到概率收敛。

5.3 词表剪枝

这是 Unigram “自顶向下”的关键。流程是:

  1. 从一个较大的种子词表出发(语料中所有高频子串 + 全部单字)。
  2. 训练完成后,估算”若删除某子词,语料似然会下降多少”,得到该子词的 loss。
  3. 把 loss 最小的那批子词删除(通常删除约 20%),单字始终保留。
  4. 回到第 2 步,直到词表达到目标大小。

直觉上,loss 小意味着这个子词”可有可无”,删掉它对整体似然影响最小,因此优先被裁掉。

5.4 子词正则化

推理阶段不总是取 argmax 最优切分,而是以正比于其概率的方式采样一条切分路径:

  1. P(切分 | 词) = P(切分) / P(词)

同一句文本在不同时刻可能被切成不同 token 序列,这相当于对下游模型做了平滑的数据增强,在翻译、语音识别等任务中被证明能提升泛化。

六、实施步骤

步骤一:构建统计语料与词频表

遍历原始文本,统计每个词及其出现频次。为什么:频次是 EM 中期望计数的权重,高频词对概率估计的贡献更大。注意:务必先统一大小写、编码与空白处理,否则同一词会被拆成多个条目,污染统计。

步骤二:生成种子词表

从语料中收集所有子串作为初始候选,同时强制纳入全部单字。为什么:Unigram 是自顶向下剪枝,种子词表要足够大以覆盖潜在有用的子词;单字是最后的安全网,保证任何词都能被切出。注意:种子词表若过大,训练开销会显著上升,可先按频次截断到合理上限。

步骤三:EM 训练子词概率

在固定的词表上跑 E 步与 M 步,得到每个子词的稳定概率。为什么:概率决定了后续切分打分与剪枝依据。注意:概率下溢是常见坑,实现时用对数概率并在前后向递推中做归一化。

步骤四:计算 loss 并剪枝

对当前词表估算每个子词的删除代价,移除 loss 最小的一批(保留单字)。为什么:让词表在”覆盖率”与”体积”间可控地收缩。注意:一次别删太多(经验值 20% 左右),删太狠会误伤关键子词,导致似然骤降。

步骤五:迭代收敛到目标规模

重复”训练→剪枝”,直到词表大小等于设定值。为什么:Unigram 是迭代精修而非一次成型。注意:每次剪枝后都需重新训练概率,因为剩余子词的相对权重已改变。

步骤六:导出模型并对外提供切分

保存最终子词表及概率,构建切分格后即可提供两种能力:最优切分(Viterbi)与采样切分。注意:导出格式要包含子词、概率、特殊标记(未知符、句首尾标记),保证推理端与训练端一致。

七、示意性伪代码

  1. # 1. 语料与词频
  2. freq = count_words(corpus) # {词: 频次}
  3. vocab = seed_vocab(freq) + all_single_chars # 种子词表
  4. keep_single = set(all_single_chars)
  5. # 2. 迭代训练 + 剪枝
  6. while len(vocab) > target_size:
  7. # E步 + M步:EM 估计概率
  8. counts = {t: 0.0 for t in vocab}
  9. for word, f in freq.items():
  10. lattice = build_lattice(word, vocab)
  11. posterior = forward_backward(lattice) # 各子词期望计数
  12. for token, exp_cnt in posterior:
  13. counts[token] += exp_cnt * f
  14. total = sum(counts.values())
  15. prob = {t: counts[t] / total for t in vocab}
  16. # 剪枝:删除 loss 最小的一批(保留单字)
  17. loss = estimate_removal_loss(freq, prob, vocab)
  18. remove = sorted(loss, key=loss.get)[: int(0.2 * len(vocab))]
  19. remove = [t for t in remove if t not in keep_single]
  20. vocab = [t for t in vocab if t not in set(remove)]
  21. # 3. 推理:最优切分或采样切分
  22. def tokenize(word, mode="best"):
  23. lattice = build_lattice(word, vocab, prob)
  24. if mode == "best":
  25. return viterbi(lattice) # 最优路径
  26. else:
  27. return sample_lattice(lattice) # 子词正则化采样

八、结果验证

  • 覆盖率检查:抽样若干未见词,确认它们都能被切出,且未知符比例处于低位。理想情况下几乎所有词都可由子词组合表示。
  • 切分合理性:人工抽查一批词,看切分是否符合直觉(如高频词保留为整词、低频词被合理拆分)。
  • 似然对比:记录每轮剪枝后的语料对数似然,应呈平滑下降而非断崖式下跌;若某轮骤降,说明该轮误删了关键子词。
  • 下游指标:在翻译或分类任务上,对比采样切分与最优切分的效果差异,验证子词正则化是否带来增益。

九、常见问题与排查

  • 概率下溢/全为 0:多为直接相乘导致。改用对数空间运算,并在前后向中逐步归一化。
  • 单字被误删导致无法切分:检查剪枝逻辑是否始终保留单字集合,这是最后的安全网。
  • 训练过慢:种子词表过大或全量前后向重复计算所致。可按频次预截断种子词表,并对相同词缓存其切分格。
  • 采样切分不稳定:采样本身具有随机性,如需可复现结果,固定随机种子;若下游对稳定性敏感,可退回最优切分。
  • 中文与英文混排效果差:确保语料预处理对 CJK 字符按字保留,避免中文字被错误并入更长候选。

十、优化建议

  • 性能:对高频词缓存切分结果;剪枝 loss 的估算可只在词表子集上采样近似,减少全量计算。
  • 稳定性:固定训练随机种子与数据顺序,保证多次训练结果一致,便于复现与对比。
  • 词表规模权衡:词表越大覆盖率越高但序列越短的好处减弱、内存越大;建议结合下游模型容量做 A/B 测试确定目标规模。
  • 可维护性:将语料清洗、训练、剪枝、导出拆成独立阶段,每阶段产出可校验的中间结果,便于定位问题。
  • 与 BPE 的选型:若需要确定且唯一的切分、实现简单,优先考虑成对合并路线;若追求概率化切分、采样增强与更平滑的似然目标,Unigram 更合适。

十一、总结

本教程从子词分词的动机出发,系统讲解并实现了 Unigram 分词算法:以一元语言模型为概率基础,通过 EM 交替估计子词概率,用 Viterbi/前后向求解最优切分与整词概率,再以自顶向下的 loss 剪枝将种子词表精修到目标规模,并可选启用采样式切分实现子词正则化。掌握上述流程后,你可以针对任意领域语料独立训练分词器,并结合覆盖率、似然曲线与下游指标完成调优。后续可继续深入的方向包括:Unigram 与 BPE 的横向对比实验、更大规模语料下的并行化训练、以及面向多语言场景的字节级回退机制设计。