简介：语音识别借力大语言模型时，常会遇到一个看似基础却很致命的问题：模型词表过大，导致训练或推理阶段显存快速增长。本文从自回归生成与CTC两种建模思路的差异切入，分析大词表对计算资源、并行能力和识别效率的影响，并梳理不同场景下的方案选择、优化方向与工程落地注意事项，帮助开发者和架构师更清楚地判断语音识别系统该如何设计。
自动语音识别，也就是常说的 ASR，目标是把语音信号转换成文字。过去几年，语音识别系统越来越多地引入大语言模型的能力，希望借助大模型中丰富的语言知识，改善同音字判断、语境推理、长句理解等环节。相比传统语音识别仅依赖声学模型和有限语言模型，引入大语言模型后，确实可以在很多复杂场景下提升识别准确率，尤其是对口语化表达、专业术语和上下文依赖较强的句子。
但大语言模型并不是直接适配语音识别的。一个常被忽略的问题出在词表规模上。传统语音识别系统使用的字符集或词表通常只有几百到几千个单元，而大语言模型为了覆盖更广泛的语言表达，往往采用十几万甚至更大的原生词表。词表一大，训练和解码时的计算需求会显著上升，尤其在某些支持并行输出的对齐算法中，内存占用会迅速成为瓶颈。
这形成了一个看似矛盾的局面：我们引入大语言模型，是希望借助更强的语言能力提升识别效果，但大模型带来的大词表，又让语音识别中原本高效的训练或解码方式变得难以直接使用。解决这个矛盾，不只是调参或换更大显存设备的问题，更需要从建模方式、损失计算、词表使用策略和工程实现等多个角度进行重新设计。
在语音识别与大语言模型结合的方式中，有两种典型思路经常被放在一起比较。
第一种是自回归生成方式。这种方式把语音识别看作是条件文本生成任务，模型在获得语音特征后，像生成对话一样一个字一个字地输出文本。具体表现为：输出第一个字之后，再基于前面的字和语音特征预测下一个字。这种方式与主流大语言模型的解码方式一致，因此比较容易复用现有大模型的训练和推理框架，语言能力迁移也更直接。
第二种是 CTC，即连接时序分类。CTC 是一种更早提出的序列建模方法，核心特点是允许模型直接输出与语音帧对应的标签序列，而不需要显式地逐帧对齐到文字。它在训练时会对所有可能的对齐路径进行求和，学习如何把连续语音映射到离散文本。CTC 的一个重要特性是输出单元之间具有并行性，不需要等待前一个字符生成后才能预测后一个字符，因此在推理阶段通常比自回归方式更快。
从目标上看，两种方式都希望完成从语音到文字的映射，也都需要语言知识来提升识别质量。但两者的计算结构差异很大：自回归方式天然是串行的，推理速度受限；CTC 方式具备并行优势，却在大词表场景下遇到严重的显存问题。
尽管自回归生成和 CTC 在实现路径上不同，但它们有几个共同点。
首先，二者都需要词表来表示输出文本。无论是逐字生成还是整句并行输出，模型最终都要在某个候选词表上计算概率分布。词表的大小直接决定了输出层的计算规模和参数数量。
其次，二者都希望借用大语言模型的语言知识。自回归方式通常直接使用大语言模型的解码结构，而 CTC 方式也尝试将大语言模型中的语言表示能力引入到识别模型中。无论哪种方式，共同目标都是降低同音字错误、提升上下文理解能力、改善长句识别效果。
第三，二者在工程实现上都要面对显存和计算资源的限制。自回归方式虽然单步计算量相对可控，但随着生成长度增加，解码时间会线性增长；CTC 方式在训练时则可能因为大词表和大批量语音帧而产生巨大的中间变量。因此，两者都存在资源约束，只是瓶颈位置不同。
自回归生成的计算是逐步进行的。模型每生成一个字，只需要在当前时间步对词表做一次概率计算，虽然词表很大时单步计算量也不小，但显存中不会同时保留所有时间步的词表概率矩阵。
CTC 则不同。它在训练时会把每一帧语音与整个词表中的每个候选单元都进行概率计算，以支持后续对所有可行路径的求和。这意味着词表大小和语音帧数量会同时放大中间结果的规模。例如，当词表达到十几万级别，批次内语音帧数也很高时，仅 CTC 损失计算这一部分就可能占用数十 GiB 的显存，还没有计算模型前向传播和其他中间变量。对于单张高端显卡来说，这种显存占用已经很难承受。
一个容易被忽略的点是，CTC 在计算整句损失时，虽然形式上要考虑整个词表，但真正有效的对齐路径通常只涉及当前句子中出现过的少数字符，以及 CTC 中用于处理空白和重复发音的特殊空白符号。
换句话说，训练一条语音时，多数词表单元在当前句子中根本没有出现，却仍然参与了每帧概率计算。这就类似于批改选择题时，学生只填了一个选项，但系统仍然把所有错误选项都完整算了一遍。词表越大，这种冗余计算占用的显存就越多。
因此，问题并不只是“词表太大”本身，而是“大词表与 CTC 全词表计算方式叠加”后，产生了不成比例的显存开销。
自回归方式的主要短板是串行输出。当句子较长时，推理延迟会明显上升。CTC 的优势在于可以并行产生输出路径，因此从推理速度角度看，CTC 往往更适合对实时性要求较高的场景。
但这种并行性也带来了另一层代价：并行输出使得 CTC 在训练和推理中更容易出现显存峰值。自回归方式可以把显存压力分散到各个时间步，而 CTC 则可能在某个计算阶段集中产生很大的中间矩阵。因此，选择 CTC 不只是选择了一种算法，更是选择了一种“用显存换并行性”的结构。
下表从几个关键维度对两种方式进行对比。
| 对比维度 | 自回归逐字生成 | CTC 并行输出 |
|---|---|---|
| 输出方式 | 逐字串行生成 | 并行计算路径，再聚合为文本 |
| 推理速度 | 随句子长度线性增加 | 相对更稳定，并行性更强 |
| 大词表训练显存 | 单步计算可控，整体较低 | 词表与帧数乘积放大显存，容易爆炸 |
| 语言知识接入 | 与大语言模型解码结构天然契合 | 需要额外设计适配层或词表压缩策略 |
| 训练复杂度 | 主要在于序列生成和自回归误差累积 | 主要在于对齐路径计算和显存管理 |
| 实时场景适配 | 长句下延迟较高 | 更适合低延迟并行输出 |
| 工程落地难度 | 可复用成熟生成式框架 | 需要解决大词表、显存和路径剪枝问题 |
从上表可以看出，二者没有绝对的优劣。自回归方式更适合语言能力要求高、可接受一定延迟的场景；CTC 方式更适合低延迟、高吞吐场景，但在大语言模型原生大词表下需要额外优化。
如果业务场景是会议记录、内容审核、长音频转写等离线或准离线任务，对延迟不敏感，但对同音字、专业术语和上下文判断要求较高，自回归生成方式通常更容易利用大语言模型的完整语言能力。此时即使逐字生成耗时较长，也可以通过批量处理或异步任务来缓解延迟问题。
在语音助手、实时字幕、在线会议转写等场景中，用户往往希望边说边出字。此时自回归逐字生成可能导致明显等待，尤其长句时体验下降。CTC 的并行输出特性使其在实时性上更有优势，但前提是要解决大词表带来的显存问题。可以通过词表裁剪、动态路径计算、分块处理等方式，使 CTC 在可控资源下运行。
当模型需要部署在边缘设备或资源受限环境中时，显存和算力都更为紧张。这时往往不能直接使用大语言模型的完整原生词表。更合适的做法是先评估目标场景实际出现的字符或词表范围，进行词表压缩或动态映射；同时根据设备并行能力，选择自回归或 CTC 的轻量化版本。
针对 CTC 在大词表下的显存问题，可以从几个层面入手。
第一，词表使用范围优化。训练每条样本时，只让与当前句子相关的那部分词表参与有效路径计算，避免每帧都与全部词表计算概率。这样既不改变 CTC 的对齐机制，也能显著降低中间变量规模。
第二，分块计算损失。将长序列按一定长度切分为多个块，分别计算 CTC 损失，再进行聚合。这可以降低单次计算的峰值显存，同时保留整体序列的对齐能力。分块策略需要避免切分点破坏路径连续性，否则可能影响训练稳定性。
第三，动态显存管理。在训练框架中，对 CTC 损失计算产生的中间矩阵做及时释放或梯度检查点处理，避免同一阶段堆积过多临时变量。这种方式不会改变算法结构，但对工程实现和训练性能有一定影响。
第四，输出层近似计算。当词表过大时，可以引入采样或近似计算方式，对大部分低频词表单元做低代价概率估计，仅对高频或当前句子出现单元做精确计算。这种思路在工程上有较大灵活性，但需要控制近似误差对识别效果的影响。
如果团队正在从传统小词表 ASR 系统向大语言模型增强系统迁移，需要提前评估几个问题。
首先是词表映射与数据兼容性。大语言模型的词表通常不是为语音识别专门设计的，可能存在大量低频、冗余或不适合语音输出的单元。迁移前需要建立语音输出单元与文本词表之间的映射，避免训练阶段出现大量无效计算。
其次是接口与训练流程适配。自回归方式和 CTC 方式对标签格式、损失函数、解码策略都有不同要求。尤其是 CTC 需要额外维护空白符号和重复处理规则，如果从自回归方案切换到 CTC 方案，数据管线和评估脚本通常需要同步调整。
再者是显存与吞吐的均衡。不要只根据模型精度指标选方案，还要评估不同词表规模、帧长、批次大小对显存峰值的影响。尤其在多任务训练或在线推理时，显存占用往往由最差情况决定。
最后是稳定性与可维护性。CTC 的动态路径计算和损失分块策略可能增加训练调试难度。建议先在固定词表规模、固定序列长度的小型任务上验证优化策略，再逐步扩展到完整词表和真实场景，避免直接在大模型上进行高风险改造。
语音识别引入大语言模型，带来的不只是更强的语言能力，还有词表规模扩大后对训练、解码和显存管理的连锁影响。自回归逐字生成与 CTC 并行输出代表了两种不同的思路：前者与大语言模型结构更契合，但推理延迟随长度增加；后者并行性好，却在大词表下容易产生显存峰值。
解决这个问题的关键，并不是简单地选择某一种算法，而是根据业务场景对延迟、显存、语言能力和工程复杂度的要求进行权衡。在实时交互场景中，CTC 的优势更明显，但需要配合词表裁剪、分块计算和显存管理；在离线转写或对语言理解要求更高的场景中，自回归生成方式往往更容易落地。
最终，这个看似“内存不够用”的问题，其实反映的是语音识别与大语言模型融合过程中，词表、计算结构和资源约束之间的深层矛盾。只有在算法设计、工程实现和业务需求之间找到匹配点，才能让大语言模型在语音识别中真正发挥价值，而不是卡在最基础的资源问题上。