Token与Embedding详解：大语言模型数据处理核心机制

一、概念定义：Token 与 Embedding 分别是什么

1.1 Token：文本到数字的最小映射单元

Token（词元/令牌）是大语言模型（LLM）处理文本时的基本计量单位。它的本质是将原始文字序列映射为一个离散的整数编号。在技术层面，Token 可以对应一个完整的汉字、一个英文单词、一个词根，甚至一个更小的字符片段（子词）。Token 不是模型自己”发明”的概念，而是由预训练阶段确定的分词器（Tokenizer）根据固定词表进行查表或规则切分的结果。

从数据流动的视角看，Token 是整条文本处理流水线的第一步：原始输入 → 分词 → Token 序列 → 向量化 → 模型计算。它属于数据预处理环节，分词器一旦训练确定，在后续推理和微调中保持不变，不随模型参数更新。

1.2 Embedding：从离散编号到连续语义空间的桥梁

Embedding（嵌入/向量化表示）是将每个 Token 的整数编号转化为一个固定长度的高维浮点数向量的过程。这个向量并非随意生成，而是模型在训练过程中学到的、能够在多维空间中编码语义信息的稠密表示。

简单来说：如果 Token 解决的是”文本如何变成数字”的问题，那么 Embedding 解决的就是”如何让数字携带语义”的问题。在数学上，大语言模型本质上是一个高维连续函数，它要求输入的数值变化是平滑的——语义相近的输入应当产生相近的中间表示，而孤立的整数编号无法满足这一要求。Embedding 正是实现这种平滑性的关键机制。

二、背景与价值：为什么需要这两层转换

2.1 为什么不能直接用字符或单词

计算机底层以离散字符（如 ASCII 码或 Unicode 码点）存储文本。如果模型直接以单个字符为单位训练，将面临两大困难：

• 序列过长：一句话可能包含几十甚至上百个字符，模型需要处理的序列长度大幅增加，计算复杂度随序列长度呈平方级增长（尤其在注意力机制中）。
• 语义学习困难：字符本身不携带词汇级语义，模型需要从零开始学习字符组合的含义，训练效率极低且收敛缓慢。

2.2 为什么不能直接用整数编号

即便将文本切分为单词并赋予整数编号（如”苹果”=1024，”香蕉”=1025），问题依然存在：

• 整数之间是离散的、无序的。编号 1024 和 1025 之间没有任何数学上的”接近”含义，模型无法从中推断语义关系。
• 无法表达多义性和交叉特征。一个词可能同时涉及语言、类别、情感等多个维度，单一整数无法承载。

Token + Embedding 的两级设计，正是为了同时解决效率与表达力的矛盾：Token 负责高效压缩文本，Embedding 负责赋予语义。

三、核心组成与工作原理

3.1 分词器（Tokenizer）的工作机制

分词器是 Token 化的执行引擎，负责在文本与 Token 序列之间进行双向转换。其核心包含两个部分：

（1）分词算法

目前主流的分词算法采用子词切分（Subword Tokenization）策略，常见方案包括：

• 字节对编码（BPE, Byte Pair Encoding）：从单个字符出发，反复合并出现频率最高的相邻字符对，逐步构建词表。这是目前行业中广泛采用的方案之一。
• WordPiece：类似 BPE，但合并标准基于似然增益而非单纯频率，在处理稀有词时具有一定优势。

子词切分的核心思想是：不追求将每个词作为一个整体，而是允许将词拆分为有意义的片段。例如，”understanding” 可能被拆分为 “understand” + “ing”，”goodest” 虽未出现在词表中，但模型可通过 “good” + “est” 组合理解其含义。这种机制使得分词器具备处理未登录词（OOV, Out-of-Vocabulary）的能力。

（2）词表（Vocabulary）

词表是分词器所认识的所有 Token 的集合，其大小直接影响编码效率。以通用实践为参考：

发展阶段	典型词表大小	中文编码特点
早期模型	约 5 万	一个汉字常对应多个 Token，效率偏低
新一代模型	约 20 万及以上	涵盖更多中文词汇和短语，编码更紧凑

词表越大，单个 Token 能覆盖的文本片段越长，同等文本所需的 Token 数量越少，模型的计算效率和上下文利用率越高。但词表增大也意味着 Embedding 矩阵参数量增加，需要在效率与模型容量间做权衡。

3.2 从 Token 到 Embedding 向量的转化

当文本被转化为 Token 序列后，每个整数编号通过查表操作（Embedding Lookup）从一个巨大的参数矩阵中取出对应的向量。这个矩阵的形状为 [vocab_size, d_model]，其中：

• vocab_size 是词表大小（如 10 万或 20 万）；
• d_model 是向量维度，即模型的”观察粒度”。

维度的意义：

向量维度决定了模型能编码多少种潜在特征。举例来说：

• 较小的维度（如 768 维）可捕捉基础的词性、语义类别等信息；
• 较大的维度（如 1600 维、7000 维以上）可编码更细腻的语义关系、上下文依赖、风格特征等。

在高维空间中，语义相近的词汇（如”苹果”与”Apple”、”快乐”与”愉悦”）其向量之间的距离较近；语义无关或对立的词汇距离较远。这种空间结构使模型能够通过简单的向量运算（如余弦相似度、向量加减）来推理语义关系。

3.3 示意流程

以下伪代码展示了从原始文本到模型输入的完整流程：

输入文本: "大语言模型正在改变世界"
步骤1 - 分词:
  Tokenizer.encode("大语言模型正在改变世界")
  → [2381, 5762, 3110, 4427, 9012, 1024]  (示例编号)
步骤2 - 查表嵌入:
  for each token_id in [2381, 5762, 3110, 4427, 9012, 1024]:
      vector = embedding_matrix[token_id]  # 取出 d_model 维向量
  → 得到形状为 [6, d_model] 的矩阵
步骤3 - 送入模型:
  model_input = [6, d_model] 的张量
  → 经过多层注意力计算 → 输出预测

四、典型应用场景

4.1 大语言模型推理与微调

任何基于 Transformer 架构的大语言模型都依赖 Token + Embedding 作为输入层。在企业部署场景中，理解 Token 数量与成本的关系至关重要——通常计费与 Token 消耗直接挂钩，而 Token 数量取决于分词效率。

rag-">4.2 RAG（检索增强生成）系统

在 RAG 架构中，外部知识文档需要先被 Token 化，然后转化为 Embedding 向量存入向量数据库。检索时，用户查询同样经过 Token 化和向量化，通过向量相似度找到相关文档片段，再送入模型生成回答。这一过程中：

• 分词质量直接影响检索粒度（切得太粗可能丢失关键信息，切得太细可能导致语义碎片化）；
• Embedding 质量决定了检索的相关性和召回率。

4.3 文本分类、语义搜索、推荐系统

这些下游任务同样依赖 Embedding 作为特征表示。例如在语义搜索中，将查询和文档都向量化后计算相似度，是当前主流的技术范式。

五、易混淆概念辨析

概念	本质区别
Token vs. 词（Word）	Token 是分词器的输出单位，可能是词、子词甚至字符，不等同于语言学意义上的”词”
Embedding vs. One-Hot 编码	One-Hot 是稀疏的高维二进制向量，维度等于词表大小且仅一位为 1；Embedding 是稠密的低维浮点向量，携带语义信息
Tokenizer vs. 模型	分词器是预处理工具，参数固定；模型是可训练的神经网络，参数在训练中更新
Embedding 层 vs. 模型其他参数	Embedding 矩阵是模型参数的一部分，会随训练更新；但分词器的词表和规则本身不更新

六、使用注意事项

1. 词表与语言支持：选择模型时需关注其词表对目标语言的覆盖程度。若词表中中文 Token 占比过少，会导致中文文本编码效率低下、成本增加。
2. Token 数量估算：不同语言的 Token 化效率差异显著。一般而言，英文约 1 个 Token 对应 3-4 个字符，中文约 1-2 个字符对应 1 个 Token，具体取决于词表设计。开发时需预留足够的上下文窗口。
3. Embedding 维度与资源：高维度意味着更大的模型参数和更高的显存占用。在资源受限场景下，需在维度与性能间权衡。
4. RAG 中的切分策略：在构建知识库时，文档切分粒度需与 Embedding 模型的最佳匹配长度对齐，避免过长或过短影响检索效果。
5. 安全性考量：Token 化过程中需注意敏感信息的处理，尤其在将用户数据送入云端推理服务时，应评估数据合规要求。

七、总结

Token 是文本进入大语言模型的”通行证”，通过分词器将自然语言转化为离散的数字序列；Embedding 则是赋予这些数字以语义生命的”翻译器”，将孤立编号映射为高维空间中蕴含丰富语义关系的向量。二者共同构成了大语言模型及 RAG 等应用的数据处理基石。理解它们的定义、原理和影响因素，是开发者正确使用、优化和选型相关技术方案的前提。在百度智能云等平台提供的大模型服务中，Token 计费与 Embedding 向量检索均是核心能力，掌握其底层逻辑有助于更高效地构建智能应用。