简介:本文从字符、词语与Token三种概念出发,系统解释大语言模型为什么不能直接按人类理解的“字数”处理文本,并对比不同文本单位在切分方式、计算成本、上下文长度、计费与工程实践中的差异。读完后,你将了解Token如何产生、为什么中英文消耗不同,以及如何估算长度、控制成本并规避上下文超限问题。
在使用大语言模型时,用户经常会同时遇到“字符数”“字数”“词数”和“Token数”几个概念。它们看起来都在描述文本长度,但实际含义、统计方法和使用场景并不相同。
本文重点比较三类文本单位:
三者都可以用于描述一段文本,但不能简单画等号。尤其在大语言模型中,真正影响上下文容量、计算量和接口计量的,通常是Token,而不是用户直观理解的字符数。
字符是最直观的文本单位。例如:
你好,世界!
这段文本包含汉字、标点等多个字符。英文文本中的字母、空格和标点,也可能分别作为字符参与统计。
字符数主要用于以下场景:
但是,字符并不是大语言模型内部唯一使用的计算单位。一个字符可能对应一个Token,也可能与其他字符组合后共同对应一个Token,还可能被拆成多个Token。
词语是语言学和自然语言处理中的概念。例如:
人工智能正在改变软件开发方式
人类通常会将其理解为若干词语或短语。但中文文本通常没有显式空格,词语边界需要通过分词算法或上下文判断得到;英文文本虽然往往以空格分隔单词,但单词也不一定会完整对应一个Token。
词语划分更接近人类理解语言的方式,但模型并不一定按照“一个词一个单位”来处理文本。原因包括:
因此,现代大语言模型通常采用比“完整词语”更灵活的子词或混合切分方案。
Token可以理解为模型处理文本时使用的“标准积木”。分词器会先把原始文本切分成若干片段,再将每个片段映射为一个数字编号,模型实际接收的是这些数字及其对应的向量表示。
例如,一段文本可能被切分为:
["人工", "智能", "正在", "改变", "软件", "开发"]
也可能被切分为:
["人", "工", "智能", "正", "在", "改变", "软件", "开发"]
具体结果取决于模型所使用的分词器、词表、语言类型和文本内容。用户看到的是自然语言,模型处理的则是Token序列。
需要注意的是,Token并不严格等同于“最小语义单元”。更准确地说,它是模型在输入和输出阶段使用的基本编码单元。一个Token可能有一定语义,也可能只是一个字符、词的一部分、标点符号或特殊符号。
大语言模型处理文本时,通常会经过以下步骤:
原始文本↓文本规范化↓分词器切分↓Token编号↓向量化表示↓模型计算
以一句混合文本为例:
请分析API接口的错误日志。
分词器可能将其拆成中文片段、英文片段、字母组合、标点等多个Token。这里的关键不在于某个固定拆分结果,而在于以下事实:
分词完成后,每个Token会映射成一个整数编号。模型并不是直接“看懂”这个编号,而是通过嵌入层将编号转换成向量,再参与后续的注意力计算和概率预测。
字符是原始文本层面的单位,Token是模型编码层面的单位。
例如,用户可能只关心一篇文章有多少字,而模型需要关心这篇文章被分成了多少个Token。两者统计的是不同层次的对象。
字符通常可以按照编码规则直接统计,规则相对稳定。Token则依赖具体分词器,不同模型可能产生不同结果。
同一段文字在不同模型中,Token数量可能不同。因此,不能只根据字符数推断精确Token数。
中文、英文、数字、代码和混合文本的Token效率不同。
一般来说,常见中文字符可能较容易形成独立Token,但这不是绝对规则;英文常见词可能以完整词或多个子词形式出现;数字和代码由于组合形式复杂,可能消耗更多Token。
因此,一篇中文文章和一篇字符数相同的英文文章,Token数量不一定相同;一段中文说明和一段包含大量代码、路径、配置项的文本,Token消耗也可能明显不同。
模型的上下文窗口通常按Token计算,而不是按字符或自然语言词语计算。
如果某模型支持较大的上下文窗口,表示它一次计算能够接收一定数量的Token。输入提示词、历史对话、检索内容、工具返回结果以及模型输出,通常都可能共同占用上下文空间。
因此,用户看到的“文章长度”并不能直接代表模型还能处理多少内容。
传统接口经常按照调用次数计费,是因为一次调用的处理规模相对固定,服务方可以用请求次数粗略估算资源消耗。
但大语言模型的请求规模差异非常大:
如果只按调用次数计算,短请求和长请求会被视为同一种工作量,无法准确反映计算资源消耗。
Token计量更接近模型实际完成的工作量,通常需要关注:
可以用一个通用公式理解:
总Token消耗 ≈ 输入Token数 + 输出Token数
实际计量还可能受到特殊标记、消息格式、工具调用和服务规则影响,因此这个公式适合用于概念估算,而不应当当作所有接口的精确账单公式。
输入Token包括:
很多应用只关注用户当前输入,却忽略了历史消息和附加资料。实际上,长对话中最容易持续增长的部分往往是上下文历史。
输出Token是模型生成的内容,包括:
输出越长,通常意味着计算时间和资源消耗越高。因此,在不影响任务质量的情况下,可以通过限制输出格式、减少重复说明和明确回答范围来控制输出Token。
| 文本类型 | 可能的Token特征 | 主要原因 |
|---|---|---|
| 常见中文句子 | 通常较为紧凑,但不固定 | 常见字词容易形成稳定片段 |
| 英文普通句子 | 单词可能对应一个或多个Token | 词频、词形和子词切分不同 |
| 生僻词和专业术语 | 可能消耗更多Token | 词表中缺少完整高频片段 |
| 数字与日期 | 切分方式差异较大 | 数字组合和格式复杂 |
| 源代码 | 可能占用较多Token | 符号、缩进、变量名和关键字密集 |
| 配置文件 | Token数量可能快速增长 | 键值、标点和重复字段较多 |
| 大量表格 | 结构符号和字段重复明显 | 分隔符、空格和列内容共同计量 |
| 长链接或路径 | 可能被拆成多个片段 | 特殊字符和连续字符串较多 |
这意味着,不能简单使用“一个汉字等于一个Token”或“一个英文单词等于一个Token”作为通用规则。这样的说法只能用于非常粗略的入门类比,不能用于精确预算。
上下文窗口可以理解为模型一次能够纳入计算的Token容量。它通常包含输入和输出,而不是只计算用户当前发送的文字。
例如,一个对话应用的上下文可能由以下部分组成:
系统指令+ 历史消息+ 当前问题+ 检索资料+ 工具结果+ 预留输出空间
如果前面的内容已经占用了大部分窗口,模型可用于生成答案的空间就会减少。此时可能出现:
因此,在设计长文本应用时,不能只扩大输入容量,还要为输出预留空间,并建立内容压缩、摘要、分段和优先级管理机制。
字符数可以作为初步参考,但不能替代实际分词统计。生产系统最好使用与目标模型匹配的分词器进行预估,或者在请求发送前获取可靠的Token计数结果。
常见的无效内容包括:
减少这些内容可以同时降低成本、延迟和上下文压力。
面对大型文档时,可以采用以下流程:
文档清洗→ 按语义分段→ 计算各段Token→ 建立索引或摘要→ 仅召回相关片段→ 交给模型处理
分段不宜只按固定字符数切割,还应尽量保持标题、段落和上下文完整,避免将一个完整表格或代码块从中间截断。
如果上下文窗口接近上限,即使输入本身能够放入,模型也可能没有足够空间生成完整结果。因此,系统应当根据任务类型预留合理的输出容量。
代码和日志通常Token密度较高,可以考虑:
| 需求 | 更适合关注的指标 |
|---|---|
| 限制用户输入框长度 | 字符数 |
| 数据库存储字段设计 | 字节数、字符数 |
| 估算模型上下文容量 | Token数 |
| 估算模型调用成本 | 输入Token与输出Token |
| 设计长文档切分策略 | Token数结合语义边界 |
| 评估模型响应长度 | 输出Token |
| 处理代码和日志 | Token数、结构复杂度和字符数 |
| 做界面提示 | 字符数更直观,后台仍需关注Token |
换句话说,字符适合服务用户体验和存储约束,Token适合服务模型计算和资源管理。两者不是互相替代,而是处在不同的技术层次。
如果应用从一个模型切换到另一个模型,不能默认原来的Token预算仍然有效。需要重点评估:
比较稳妥的做法是使用真实业务样本进行灰度验证,而不是仅使用几句简单测试文本。测试集应覆盖普通问答、长文档、代码、数字、表格、混合语言和多轮对话等场景。
字符是人类阅读和文本存储中常见的单位,词语更接近语言理解中的自然单位,而Token是大语言模型进行编码、计算和生成时使用的基本单位。
三者的核心差异可以概括为:
在实际开发中,字符数适合用于界面限制和数据管理,Token数则更适合用于上下文规划、成本估算、性能分析和长文本切分。尤其在构建企业知识库、智能客服、文档问答、代码分析和多轮对话系统时,开发者应当把Token作为重要的工程指标,与延迟、准确率、并发量和资源成本一起进行评估。
只有同时理解字符、词语和Token的区别,才能避免“看起来文本不长,却超出上下文”或“调用次数不多,但资源消耗很高”等问题,并在模型选择、提示词设计和应用架构中做出更可靠的判断。