简介:本文带你完整掌握Unigram(一元语言模型)子词分词算法:从子词分词的动机出发,深入讲解一元语言模型、EM期望最大化训练、Viterbi最优切分、词表剪枝与子词正则化等核心机制,并给出可落地的训练流程、伪代码示例、参数配置思路、结果验证方法与常见问题排查方案,帮助 NLP 开发者独立完成一套子词分词器的设计与调优。
本教程要帮助你完成的事情是:独立理解并实现一套基于 Unigram(一元语言模型)的子词分词器,最终产出一个满足指定词表规模的切分模型,并能够对外提供”整词最优切分”与”采样式切分”两种能力。
子词分词是现代自然语言处理流水线的第一环。它把原始文本切成模型可处理的 token 序列,直接决定了词表覆盖率、序列长度和模型对未登录词(OOV)的鲁棒性。掌握 Unigram 算法,你就掌握了目前业界最主流的子词切分思路之一。
典型适用场景包括:低资源语言的文本处理、领域定制词表(如医疗、法律、代码)、多语言混合语料、需要词表体积可精确控制的场景,以及希望通过采样切分提升模型泛化能力的研究性任务。
知识基础:
语料准备:
环境准备:
传统切分要么按整词(词表巨大、OOV 严重),要么按字符(序列过长、语义丢失)。子词切分介于两者之间,用”高频整词 + 低频词拆成子词”的方式兼顾覆盖率与序列长度。
Unigram 与另一条常见路线(自底向上的成对合并,即 BPE)的根本区别在于:
这种”一对多”特性带来两个优势:一是训练目标明确(最大化语料似然),二是采样切分天然构成一种数据增强,提升模型鲁棒性。
假设一个子词序列 x = [x₁, x₂, ..., xₙ] 中各子词相互独立,则整个词出现的概率为各子词概率的乘积:
P(x) = ∏ P(xᵢ)
其中每个子词 xᵢ 有一个概率 P(xᵢ)。给定一个词,它可能存在多种切分方式,每一种切分都对应一个”切分格”(lattice)。我们关心两件事:
在已知词表结构、未知各子词概率时,用 EM 迭代:
P(xᵢ) = 期望计数(xᵢ) / 全部期望计数之和
交替迭代直到概率收敛。
这是 Unigram “自顶向下”的关键。流程是:
直觉上,loss 小意味着这个子词”可有可无”,删掉它对整体似然影响最小,因此优先被裁掉。
推理阶段不总是取 argmax 最优切分,而是以正比于其概率的方式采样一条切分路径:
P(切分 | 词) = P(切分) / P(词)
同一句文本在不同时刻可能被切成不同 token 序列,这相当于对下游模型做了平滑的数据增强,在翻译、语音识别等任务中被证明能提升泛化。
遍历原始文本,统计每个词及其出现频次。为什么:频次是 EM 中期望计数的权重,高频词对概率估计的贡献更大。注意:务必先统一大小写、编码与空白处理,否则同一词会被拆成多个条目,污染统计。
从语料中收集所有子串作为初始候选,同时强制纳入全部单字。为什么:Unigram 是自顶向下剪枝,种子词表要足够大以覆盖潜在有用的子词;单字是最后的安全网,保证任何词都能被切出。注意:种子词表若过大,训练开销会显著上升,可先按频次截断到合理上限。
在固定的词表上跑 E 步与 M 步,得到每个子词的稳定概率。为什么:概率决定了后续切分打分与剪枝依据。注意:概率下溢是常见坑,实现时用对数概率并在前后向递推中做归一化。
对当前词表估算每个子词的删除代价,移除 loss 最小的一批(保留单字)。为什么:让词表在”覆盖率”与”体积”间可控地收缩。注意:一次别删太多(经验值 20% 左右),删太狠会误伤关键子词,导致似然骤降。
重复”训练→剪枝”,直到词表大小等于设定值。为什么:Unigram 是迭代精修而非一次成型。注意:每次剪枝后都需重新训练概率,因为剩余子词的相对权重已改变。
保存最终子词表及概率,构建切分格后即可提供两种能力:最优切分(Viterbi)与采样切分。注意:导出格式要包含子词、概率、特殊标记(未知符、句首尾标记),保证推理端与训练端一致。
# 1. 语料与词频freq = count_words(corpus) # {词: 频次}vocab = seed_vocab(freq) + all_single_chars # 种子词表keep_single = set(all_single_chars)# 2. 迭代训练 + 剪枝while len(vocab) > target_size:# E步 + M步:EM 估计概率counts = {t: 0.0 for t in vocab}for word, f in freq.items():lattice = build_lattice(word, vocab)posterior = forward_backward(lattice) # 各子词期望计数for token, exp_cnt in posterior:counts[token] += exp_cnt * ftotal = sum(counts.values())prob = {t: counts[t] / total for t in vocab}# 剪枝:删除 loss 最小的一批(保留单字)loss = estimate_removal_loss(freq, prob, vocab)remove = sorted(loss, key=loss.get)[: int(0.2 * len(vocab))]remove = [t for t in remove if t not in keep_single]vocab = [t for t in vocab if t not in set(remove)]# 3. 推理:最优切分或采样切分def tokenize(word, mode="best"):lattice = build_lattice(word, vocab, prob)if mode == "best":return viterbi(lattice) # 最优路径else:return sample_lattice(lattice) # 子词正则化采样
本教程从子词分词的动机出发,系统讲解并实现了 Unigram 分词算法:以一元语言模型为概率基础,通过 EM 交替估计子词概率,用 Viterbi/前后向求解最优切分与整词概率,再以自顶向下的 loss 剪枝将种子词表精修到目标规模,并可选启用采样式切分实现子词正则化。掌握上述流程后,你可以针对任意领域语料独立训练分词器,并结合覆盖率、似然曲线与下游指标完成调优。后续可继续深入的方向包括:Unigram 与 BPE 的横向对比实验、更大规模语料下的并行化训练、以及面向多语言场景的字节级回退机制设计。