简介：本文系统讲解Unigram分词算法的定义、原理、训练流程与工程应用，帮助读者理解其基于概率与期望最大化的核心思想，掌握该算法在自然语言处理、大模型词表构建与多语言文本切分中的关键价值，并明确其与常用子词切分方法的主要区别与适用边界。
Unigram分词算法是一种基于统计概率的子词切分方法。它从一个较大的候选子词集合出发，通过概率模型评估每个子词在语料中独立出现的可能性，并逐步删除对整体语料似然贡献较小的子词，最终形成一个规模可控、切分效率较高的词表。该算法的命名来源于其核心假设：在一个已切分的文本序列中，每个子词的出现概率相互独立，因此整个序列的生成概率可以表示为各个子词概率的乘积。
从技术视角看，Unigram分词算法解决的核心问题是：如何在一个巨大而冗余的子词候选空间中，找到一个最简且有效的子词集合，使语料的整体概率最大化。 从使用视角看，它帮助自然语言处理系统在词汇覆盖能力与词表规模之间取得平衡，尤其适用于多语言场景、稀缺资源语言以及大规模预训练语言模型的词表构建。从业务视角看，合理的分词策略直接影响模型训练成本、推理延迟以及对未见词的鲁棒性。
与直接从原始词频出发构建词表的方法不同，Unigram算法采用的是删减式策略。它先构造一个足够大的种子词表，再通过反复迭代优化，将冗余子词剔除。这种“先充分覆盖、再逐步精简”的思路，使得最终词表既保留了高频、高信息量的子词，又能通过子词组合表示训练语料中未直接出现的词形。
分词是自然语言处理的基础环节。在深度学习模型广泛使用之前，基于固定词汇表的分词方法长期占据主导地位。然而，固定词汇表存在几个难以回避的问题。第一，词表规模受限时无法覆盖所有语言中的形态变化，例如动词变位、名词复数、格变化等。第二，词表规模过大又会导致模型参数膨胀，增加存储和计算成本。第三，面对新词、罕见词、拼写变体或跨语言混合文本时，固定词表通常无能为力。
子词分词方法的出现正是为了缓解上述矛盾。它将词进一步拆分为更小的、可复用的语义或形态单元，使系统可以用有限数量的子词表示几乎无限数量的词形。Unigram算法在子词分词方法中的独特价值体现在以下几个方面。
一是概率建模更自然。Unigram算法将分词问题转化为概率最大化问题，每个候选子词都有明确的概率值，整个切分过程可以被解释、被评估。二是训练过程稳定可预期。通过期望最大化算法迭代删除低价值子词，词表规模可以按目标逐步收缩，而不会像部分贪心合并方法那样在某些语料上出现过早收敛或局部组合不合理的情况。三是支持概率化分词。在实际使用时，Unigram算法不需要硬性地为每个词给出唯一切分结果，而是可以输出多条候选切分及其概率。这一特性对需要引入随机性、不确定性建模或正则化的训练任务很有帮助。
在大规模预训练语言模型兴起的背景下，词表质量对模型表现的影响愈发显著。词表过大，会导致嵌入层和输出层参数过多，训练与推理效率下降；词表过小，则会导致单条序列过长，且语义信息被过度切碎。Unigram算法提供了一种可控的词表压缩途径，可以在保持语料覆盖度的同时，将词表规模精确控制到目标大小。
理解Unigram分词算法，需要掌握几个相互关联的核心组成要素：候选词表、子词概率、语料似然、期望最大化优化和删减策略。
候选词表是算法的起点。通常可以通过枚举语料中所有长度不超过一定阈值的连续子串来构建，也可以结合其他切分方法先得到基础词表再扩展。候选词表通常远大于最终需要的词表规模，其作用是保证算法拥有足够的表达空间来进行后续筛选。
子词概率是Unigram模型的核心参数。每个候选子词对应一个概率值，表示该子词在文本中被独立选用的可能性。所有子词的概率需要满足归一化条件，即整个候选词表上的概率和等于1。初始概率可以根据子词在语料中的出现频率进行估计，也可以在候选词表生成时采用更细粒度的统计方式。
语料似然用于衡量当前词表和子词概率对训练语料的解释能力。对于一个句子，所有可能切分路径的概率之和构成该句子的边际概率。对所有句子取对数概率并求和，就得到整个语料的对数似然。算法优化的目标就是通过调整词表和概率参数，使这个对数似然尽可能大。
期望最大化优化是训练过程中的迭代计算方法。在每一步中，算法先根据当前子词概率计算每个词在各种切分方式下的后验概率，这是“期望”步骤；再根据这些后验概率重新估计每个子词的出现频次和概率，这是“最大化”步骤。通过多次迭代，子词概率会逐步逼近当前词表下的最优配置。
删减策略决定哪些子词被移除。一个直观的做法是计算每个子词从词表中删除后，语料对数似然的下降幅度。下降幅度越小，说明该子词对整体语料解释的贡献越低，越应该被删除。每次删除一批损失最小的子词后，重新估计剩余子词的概率，再进入下一轮删减，直到词表规模达到预设目标。
Unigram算法的完整工作流程可以概括为初始化、迭代优化、词表删减和最终收敛四个阶段。下面从原理层面进行拆解。
在初始化阶段，算法构建一个足够大的候选子词集合。设目标词表规模为V，候选集合可以远大于V。初始概率通常根据子词在语料中的频次进行简单估计。一个常用的做法是统计每个子词出现的次数，再除以所有子词出现总次数，得到初始概率值。对于任何一个词，其所有合法切分路径都可以根据子词概率计算出路径概率。
在迭代优化阶段，算法进入期望最大化循环。对于语料中的每个词，先枚举该词所有可能的子词切分。一个词可能有多种切分方式，例如一个由字符a、b、c构成的词，理论上可以切分为单字符序列，也可以切分为不同长度子词的组合。对每一种切分路径，计算其联合概率。然后，将所有路径概率归一化，得到每条路径在当前模型下的后验概率。基于这些后验概率，可以重新统计每个子词的“软计数”。所谓软计数，是指不再是简单地判断某个子词是否出现，而是根据切分路径的后验概率对子词进行加权计数。例如，某条路径的后验概率为0.3，该路径中包含某个子词，则该子词获得0.3的计数贡献。
完成软计数统计后，进入最大化步骤。将所有子词的软计数归一化，得到新的子词概率分布。重复多次期望与最大化步骤，语料对数似然会逐渐上升并趋于稳定。此时，在当前候选词表下，子词概率已经达到一个较优状态。
随后进入删减阶段。对候选词表中的每个子词，计算删除它之后语料对数似然的预期损失。损失越小，说明该子词对语料整体概率的贡献越低。将所有子词按损失从小到大排序，一次性删除一批损失最小的子词。删除操作会改变词表结构和剩余子词的统计关系，因此删减后需要重新运行期望最大化迭代，使剩余子词的概率重新收敛。
这一过程循环进行，直到词表规模缩减至目标值V。最终得到的词表及其子词概率构成完整的Unigram分词模型。在实际编码中，一个词通常按照概率最大的切分路径输出结果。例如，对于词表中存在的子词“流”“响”“声”“响度”“回声”等，模型会根据概率选出最合理的切分组合。
Unigram分词的特性决定了它在以下几类场景中具有较好的适用性。
大规模预训练模型词表构建。 当前主流预训练语言模型在构建词表时，需要在多语言覆盖、词表规模、编码效率之间取得平衡。Unigram算法允许在保留高频和高价值子词的同时，将词表压缩到预设大小，非常适合作为模型输入层之前的标准化词表生成方案。
多语言和跨语言文本处理。 不同语言的形态复杂度和构词规则差异很大。Unigram算法不依赖特定语言的分词规则，而是完全从语料统计中学习子词边界。因此，它可以同时应用于多种语言，甚至在多语言混合语料上直接训练出一个共享子词词表。对于形态丰富、词形变化繁多的语言，Unigram子词模型通常表现出更强的覆盖能力。
低资源语言和领域文本适配。 对于训练语料有限的语言或高度专业化的垂直领域，直接使用大规模通用词表往往不合适。Unigram算法可以从目标语料出发训练词表，能够在较小规模下达到较好的文本覆盖效果。同时，通过调整目标词表大小，开发者可以控制模型的参数规模和推理成本。
需要概率化切分的任务。 一些训练框架会使用概率化子词切分作为数据增强或正则化手段。由于Unigram算法天然输出子词概率和路径概率，开发者可以让同一个句子在多次训练迭代中呈现不同的合法切分，从而提升模型对文本变体的鲁棒性。
文本压缩与编码场景。 在需要将长文本映射为紧凑序列的场景中，Unigram词表可以通过合理选择子词粒度，在编码长度和词表规模之间取得优化。例如，在移动端推理或网络传输受限的应用中，较小的子词词表可以降低词典存储和序列长度压力。
在子词分词领域，常被提及的还有基于合并策略的方法和基于字符的方法。理解它们之间的差异，有助于在工程中做出更合适的选择。
基于合并策略的方法，例如字节对编码，采用自底向上的方式，从最细粒度的字符或字节开始，反复将出现频率最高的相邻符号对合并为一个新符号，直到达到目标词表规模。其训练过程直观、计算相对简单，在工业界应用广泛。与之相比，Unigram算法采用自顶向下的删减方式，先构造大词表，再按照概率贡献逐步删减。Unigram的迭代过程计算量通常更大，但词表结果往往更紧凑，概率意义也更强。
基于字符的方法将文本完全切分为字符或字节粒度的序列。这种方法的最大优点是词表极小且不存在未登录词问题，但缺点是序列长度显著增加，模型需要建模更远距离的依赖关系，训练和推理成本提高。Unigram词表在字符和整词之间通过概率自动选择合适的子词粒度，能够兼顾序列长度与词表规模。
另一个容易混淆的概念是词形还原与词干提取。它们属于自然语言处理中更偏向语义或形态规范化的操作，目的是将不同词形归并到基本形式或词干。Unigram分词则完全是统计层面的切分，不包含语义判断，也不保证切分结果在语言学上一定有意义。例如，Unigram可能将“流响”切分为“流”和“响”，也可能保留整体，取决于语料统计和概率配置。
还应区分的是，Unigram算法本身不直接负责文本清洗、归一化、大小写转换或特殊符号处理。在实际工程中，它通常作为完整文本处理管线中的一环，需要在词表训练之前完成必要的文本预处理。
在使用Unigram分词算法时，有几个工程层面的问题需要关注。
词表规模的设定。 目标词表大小直接影响模型参数量、序列长度和覆盖能力。词表过小会导致频繁切分，序列变长，语义单元破碎；词表过大则会增加未使用子词比例，造成参数浪费。通常需要结合实际任务、目标语言和模型结构进行实验调优。
训练语料的质量与规模。 Unigram算法完全依赖语料统计，若语料中噪声较多或领域分布明显不均，训练出的子词概率和词表结构会受到影响。训练前应尽量清理不可见字符、异常编码、重复内容和不相关语言段落，并保证语料中对目标场景有足够覆盖。
预分词规则的影响。 许多实现在训练Unigram词表前会进行预分词，例如按空白切分、按标点切分或做基础归一化。预分词方式会限制子词边界的可能性，从而影响最终词表。设计时需明确预分词策略，并在使用阶段保持一致。
计算资源与训练时间。 与一些贪心合并方法相比，Unigram训练需要多次期望最大化迭代和全局似然评估，计算开销更大。在超大规模语料上训练时，需要考虑分布式计算、候选词表上限和迭代次数等工程因素。
分词一致性。 训练得到的子词概率模型如果部署在多个服务实例上，需要确保模型版本、配置参数和加载方式一致，以免同一文本在不同实例上产生不同切分结果。对于需要在线热更新词表的系统，更应建立明确的版本管理与灰度发布机制。
安全与隐私。 在涉及用户生成内容的场景中，训练语料可能包含敏感信息。虽然分词模型通常不会完整保留原始文本，但在词表训练和处理过程中仍应遵循数据最小化原则，对训练数据进行脱敏和访问控制。
Unigram分词算法是一种基于概率模型的子词切分方法，其核心思路是从大规模候选子词集合出发，利用期望最大化算法估计子词概率，并通过评估删除损失逐步精简词表，最终在语料覆盖度与词表规模之间取得优化。它提供了一种可解释、可控制、概率化的词表构建路径，适合大规模预训练模型、多语言场景、低资源语言适配以及需要概率化切分的任务。与基于合并策略或纯字符的方法相比，Unigram算法在概率建模和词表压缩上具有明显特点，但训练计算成本也相对更高。在实际应用中，需要根据目标场景合理设置词表大小，重视语料质量、预分词策略和部署一致性，才能充分发挥该算法的价值。