简介:本文系统介绍图片和声音从原始信号转化为Token的过程,重点讲解图像切块、离散视觉码本、音频分帧、连续向量与离散Token之间的区别,并分析编码器、位置编码、注意力机制在多模态理解中的作用。读者将能够理解多模态模型为什么需要Token化、不同方案如何影响上下文长度与计算成本,以及实际设计时应关注的关键问题。
多模态Token,是指将图片、声音、视频等非文本数据转换为模型可以接收和处理的序列化表示。对于语言模型而言,文本通常会先经过分词,转化为一个个离散的词元;而图片和声音本身是连续的高维信号,不能直接按照文字的方式输入,因此需要经过专门的编码器,将其转换为一组向量或离散编号。
简单来说,多模态编码可以表示为:
图片、声音等原始数据↓预处理与切分↓编码器提取局部或时序特征↓视觉Token或音频Token↓与文本Token统一输入模型
这里的“Token”并不一定都是传统意义上的整数编号。根据架构不同,它可能是:
因此,理解多模态Token时,不能简单认为“图片被切成了几个词”。更准确的说法是:图片或声音被压缩、编码为一串具有位置关系和语义信息的特征单元。
原始图片通常由像素矩阵组成。例如,一张彩色图片可以表示为:
高度 × 宽度 × 颜色通道
如果图片尺寸为224×224,且使用三个颜色通道,那么原始数据包含约十五万个数值。声音则是一段按照采样率记录的振幅序列,持续时间越长,采样点越多。
直接把所有像素或采样点输入模型,会带来几个问题:
图像分辨率越高,像素数量越多;音频时长越长,采样点数量越多。若模型直接处理原始数据,计算量和显存占用都会迅速增加。
像素值本身只表示局部颜色或亮度,采样点只表示某一时刻的振幅。物体边界、语音音素、节奏和语义并不直接存在于单个数值中,需要通过多层网络逐步提取。
语言模型擅长处理序列。将图片和声音编码为序列后,模型才能利用统一的注意力机制,让文字、图像区域和音频片段相互关联。
所以,Token化的核心目的不是简单压缩数据,而是将连续信号转换为更适合序列建模的表示。
图片Token化主要有两类思路:连续视觉特征和离散视觉码本。
一种常见方法是将图片切分为大小相同的图像块,每个图像块经过线性投影后形成一个向量。
假设图片尺寸为224×224,图像块大小为16×16,则横向和纵向各有:
224 ÷ 16 = 14
最终得到:
14 × 14 = 196 个图像块
每个图像块包含:
16 × 16 × 3 = 768 个像素值
然后将这768个数值展平,并通过一个可学习的线性层映射到指定维度,例如1024维:
16×16×3 的图像块↓ 展平768维向量↓ 线性投影1024维视觉Token
整张图片最终可以表示为:
图片 → 196个图像块 → 196个连续视觉Token
这些Token通常不是整数编号,而是浮点向量。它们携带局部区域的颜色、纹理和空间信息,后续会输入Transformer类结构进行进一步处理。
在切块方案中,Token数量通常与图像面积成正比:
Token数量 =图片高度 ÷ 图像块高度×图片宽度 ÷ 图像块宽度
因此,图片分辨率越高,Token数量越多。图像块越小,空间细节越丰富,但计算成本也越高;图像块越大,Token数量越少,但细粒度信息可能损失。
例如:
224×224图片,16×16图像块 → 196个Token448×448图片,16×16图像块 → 784个Token224×224图片,32×32图像块 → 49个Token
这说明视觉Token数量并不是固定的,而是受到分辨率、切块尺寸和预处理策略共同影响。
需要澄清一个常见误解:图像切块和线性投影并不会直接执行传统意义上的“识别边缘”“检测物体”或“判断形状”。
这一阶段主要完成的是数据重排和维度变换:
图像块 → 数值展平 → 矩阵乘法 → 向量
它类似于把原始像素转换成模型可处理的统一格式。真正复杂的视觉理解,通常发生在后续的多层网络中。
在浅层网络中,模型可能逐渐形成对局部方向、颜色变化和纹理结构的响应;在更深层网络中,这些局部信息会被组合为物体部件、空间关系和整体语义。需要注意的是,这种层次并不是严格固定的规则,不同模型、数据集和训练目标可能呈现不同的特征演化过程。
另一种方法是使用视觉码本,将图像区域映射为有限集合中的编号。
其基本流程如下:
图片↓图像编码器↓连续特征↓从视觉码本中选择最接近的向量↓视觉Token编号↓图像解码器或多模态模型
假设码本中包含8192个视觉向量,那么每个图像区域都可以对应一个0到8191之间的索引。此时,图片就被表示成一串离散编号:
[152, 38, 7012, 96, ...]
这与文本分词的形式更加接近。码本中的每个条目可以理解为一种可复用的视觉模式,例如局部纹理、颜色组合或形状结构,但它们通常不是人工定义的“视觉单词”,而是通过训练自动形成的向量原型。
离散码本的优势包括:
但它也存在信息损失问题。原始图像被映射到有限数量的码本条目后,细节可能无法完全保留。码本大小、空间压缩比例和训练目标都会影响重建质量。
声音与图片的差异在于,声音天然具有时间顺序。它通常先表现为一维波形,再被转换为更适合分析的时频表示。
声音可以表示为:
[s1, s2, s3, s4, ...]
其中每个数值代表某个采样时刻的振幅。若直接处理采样点,序列长度会非常大,因此通常需要按照固定时间窗口进行分帧。
例如,将连续声音切分为若干短片段:
完整音频↓片段1、片段2、片段3、片段4……↓每个片段提取特征↓音频Token序列
每个片段可能覆盖几毫秒到几十毫秒。窗口过短,时间分辨率较高,但Token数量增加;窗口过长,序列更短,却可能混合多个发音或节奏变化。
音频处理中常见的做法是将波形转换为时频图。它可以理解为:
时频表示能够同时保留声音的时间变化和频率结构,比单纯的振幅序列更适合识别语音、音乐和环境声音。
之后,模型可以像处理图片一样,将时频图切分为小块,再通过投影层形成连续音频Token:
波形↓分帧或时频变换↓时频特征图↓切分局部区域↓线性投影↓音频Token
音频Token可能包含多种层次的信息:
这些信息通常不是在第一步编码时就全部出现,而是通过多层网络逐步提取。低层表示更接近原始声学特征,高层表示则更接近语言或事件语义。
连续Token是浮点向量,例如:
[0.12, -0.37, 0.84, ...]
它的优点是信息表达灵活,能够保留较丰富的细节,适合视觉理解、图文匹配和音频识别等任务。缺点是向量维度较高,不能直接像整数词元那样进行简单的索引和统计。
离散Token通常是有限词表或码本中的整数编号,例如:
[15, 204, 891, 47, ...]
它更接近文本Token,便于进行序列预测和压缩,也方便建立统一的生成框架。不过,离散化会带来量化误差,码本设计不合理时可能造成细节丢失或多个区域表示混淆。
实际系统中经常采用混合架构:
原始模态↓连续编码器提取特征↓投影层对齐到语言模型空间↓语言模型处理连续视觉或音频Token
或者:
原始模态↓编码器生成连续特征↓量化为离散码本索引↓统一进行序列建模
选择哪种方式,取决于任务目标、上下文长度、重建要求和计算资源。
Token序列不仅需要知道“有哪些内容”,还需要知道“内容出现在哪里”。
对于图片而言,位置表示图像块在二维平面中的坐标;对于声音而言,位置表示音频片段在时间轴上的先后关系。如果没有位置信息,模型很难区分以下情况:
左边是物体A,右边是物体B
和:
左边是物体B,右边是物体A
常见做法包括:
位置编码并不负责理解内容,它负责提供空间或时间顺序,使注意力机制能够建立正确的结构关系。
Token化只是输入准备阶段,真正的跨模态理解还需要注意力机制进行信息交互。
例如,当用户询问“图片中的物体位于声音描述的哪一侧”时,模型需要同时处理:
文本Token视觉Token音频Token
注意力机制会计算不同Token之间的相关性,让文本中的词语关注相关图像区域,也让音频中的时间片段与文字内容建立对应关系。
其抽象过程可以表示为:
文本Token ─┐视觉Token ─┼→ 注意力交互 → 统一语义表示音频Token ─┘
在视觉任务中,注意力可能逐步建立从局部纹理到物体整体的联系;在音频任务中,则可能建立从短时声学片段到音素、词语和语句的联系。多模态模型的能力,正是建立在这些Token之间的关联之上。
Token数量是多模态系统设计中的关键指标。多数注意力结构的计算量会随着序列长度增加而明显增长,因此图片分辨率、音频时长和切分粒度都会影响推理成本。
需要重点关注以下因素:
分辨率越高,细节越丰富,但图像块数量通常也越多。
图像块越小,空间精度越高,但序列更长;图像块越大,计算成本较低,但小目标和文字细节可能丢失。
音频越长,时间片段越多。实际系统常采用截断、分段、降采样或层级编码来控制Token规模。
适当的空间或时间压缩可以显著减少Token数量,但过度压缩会影响识别细节。
因此,Token数量不能单独追求越少越好,而应在细节保留、上下文容量和计算成本之间取得平衡。
多模态Token技术可用于多种场景:
在这些场景中,Token化方式会直接影响系统的精度、延迟、上下文长度和存储成本。
Token数量少,并不一定代表编码效率高。如果压缩过度,关键细节可能已经丢失。
只有内容没有位置,模型很难理解物体布局、声音顺序和事件持续时间。
图像分类可能只需要较粗粒度的视觉表示,而图表识别、文字识别和细节定位需要更细的图像块。音频分类和逐字转写对时间分辨率的要求也不同。
图片、声音和文本的Token需要映射到兼容的语义空间,否则模型难以建立跨模态对应关系。
应通过识别准确率、重建质量、定位能力、时序一致性等指标评估编码方案,而不能只看Token数量。
多模态Token的本质,是把图片、声音等连续信号转换为适合序列模型处理的表示。图片可以通过切块和线性投影形成连续视觉Token,也可以借助视觉码本转化为离散编号;声音通常先经过分帧或时频变换,再编码为具有时间顺序的音频Token。
切块和投影主要完成数据表示转换,并不直接等同于视觉理解或语音理解。真正的边缘、纹理、物体、语音和语义等能力,是模型在多层网络和注意力交互中逐步形成的。
在实际系统中,应根据任务需求综合权衡Token粒度、压缩比例、位置信息、跨模态对齐、上下文长度和计算成本。理解这些基本机制,才能准确判断不同多模态架构的能力边界,并设计出更稳定、更高效的图像、声音与文本联合处理方案。