斯坦福NLP第12讲：子词模型——从分词到语义理解的桥梁

一、子词模型：NLP分词困境的突破口

在传统NLP任务中，单词级分词（Word-Level Tokenization）面临两大核心挑战：开放词汇问题与数据稀疏性。以英语为例，标准词典包含约17万个单词，但实际文本中可能存在拼写错误、专业术语、新造词等未登录词（OOV）。例如，在医学文献中，”COVID-19”作为新出现的专有名词，传统分词器可能直接将其拆分为无效字符。

子词模型（Subword Tokenization）通过将单词拆分为更小的语义单元，实现了对开放词汇的有效处理。其核心思想源于字节对编码（BPE）算法：从字符级开始，逐步合并高频出现的字符对，最终生成包含单词片段的词汇表。例如，”unhappiness”可能被拆分为[“un”, “happi”, “ness”]，既保留了语义信息，又避免了未登录词问题。

二、主流子词模型技术解析

1. 字节对编码（BPE）

BPE算法通过迭代合并高频字符对实现词汇表构建。以训练过程为例：

# 伪代码示例：BPE训练步骤
corpus = ["low", "lower", "newest", "widest"]
vocab = set(list("".join(corpus)))  # 初始字符集
for step in range(max_steps):
    # 统计所有字符对频率
    pairs = get_all_possible_pairs(corpus)
    best_pair = max(pairs, key=pairs.get)
    # 合并最高频字符对
    corpus = [word.replace(best_pair, best_pair[0]+best_pair[1]+"_") for word in corpus]
    vocab.add(best_pair[0]+best_pair[1]+"_")

实际应用中，GPT系列模型采用改进的BPE变体，通过添加特殊标记（如</w>）处理单词边界，显著提升了长文本的编码效率。

2. WordPiece模型

WordPiece在BPE基础上引入语言模型概率，通过最大化数据似然函数选择合并对。其优化目标为：
[
\mathcal{L} = \sum_{(x,y)\in D} \log P(y|x)
]
其中(D)为训练语料，(P(y|x))表示给定上下文(x)时子词(y)的出现概率。BERT模型采用的WordPiece词汇表包含3万个子词，有效平衡了词汇量与计算效率。

3. Unigram语言模型

与BPE的自底向上合并不同，Unigram采用自顶向下的分割策略。其核心假设是：每个子词的出现概率独立于上下文。训练过程通过EM算法迭代优化：

1. 初始化：将所有可能的子词分割作为候选
2. E步：计算每种分割方式的概率
3. M步：保留概率高于阈值的分割，删除低效子词

XLM-R等跨语言模型采用Unigram实现多语言共享词汇表，在100种语言上实现了高效的子词共享。

三、子词模型的应用实践

1. 预训练模型优化

在Transformer架构中，子词模型直接影响注意力机制的计算效率。以T5模型为例，其采用的SentencePiece工具包实现了：

• 动态词汇表：根据任务数据调整子词划分
• 共享权重：跨语言任务中子词嵌入共享
• 长文本处理：通过子词拆分减少序列长度

实验表明，使用子词模型的T5-base在GLUE基准上比单词级模型提升3.2%准确率。

2. 低资源语言处理

对于数据稀缺的语言（如斯瓦希里语），子词模型可通过共享字符级特征实现跨语言迁移。例如，mBERT模型在乌尔都语上的零样本迁移准确率达到68%，远高于单词级模型的42%。

3. 工业级部署优化

在实际部署中，子词模型需平衡以下矛盾：

• 词汇表大小：过大会增加内存消耗，过小会降低表达能力
• 分割粒度：细粒度分割（如字符级）增加计算量，粗粒度分割（如词干级）可能丢失语义

推荐实践方案：

1. 动态词汇表：根据任务数据调整子词数量（建议2万-5万）
2. 混合策略：对高频词保留完整形式，对低频词采用子词分割
3. 硬件适配：针对GPU并行计算特点，优化子词序列长度（建议序列长度≤512）

四、前沿发展方向

1. 上下文相关子词划分

传统子词模型采用静态分割策略，最新研究（如Contextual BPE）通过引入上下文信息实现动态分割。例如，”bank”在金融文本中可能被分割为[“bank”]，而在地理文本中分割为[“b”, “ank”]。

2. 多模态子词模型

随着视觉-语言模型的发展，子词模型开始扩展至多模态场景。CLIP模型通过将图像区域视为”视觉子词”，实现了文本与图像的统一编码。

3. 轻量化子词表示

针对边缘设备部署需求，研究人员提出基于哈希的子词压缩方法。例如，将3万维的子词嵌入压缩至512维，在保持95%准确率的同时减少80%内存占用。

五、开发者实践建议

1. 工具选择指南：

   • 英文任务：优先选择HuggingFace的tokenizers库（支持BPE/WordPiece）
   • 多语言任务：使用SentencePiece（支持Unigram）
   • 自定义需求：参考FastBPE实现

2. 超参数调优策略：

   • 词汇表大小：从1万开始，每次增加50%观察性能变化
   • 合并操作次数：建议1万-10万次（数据量越大，合并次数越多）
   • 特殊标记处理：保留<pad>、<unk>、<cls>等必要标记

3. 调试技巧：

   • 可视化工具：使用tokenizers的visualize方法检查分割效果
   • 错误分析：统计未登录词比例，若超过5%需扩大词汇表
   • 性能基准：在相同硬件上对比不同子词模型的训练速度

本讲通过系统解析子词模型的技术原理与应用实践，为开发者提供了从理论到工程的完整知识体系。在实际项目中，合理选择子词策略可显著提升模型性能，尤其在开放域、多语言等复杂场景下表现出色。建议开发者结合具体任务需求，通过实验对比选择最优方案。