异构算力协同评测：NPU切片加速大模型推理

一、评测概述

在大模型推理部署实践中，单一计算单元的利用率往往难以覆盖全部算子负载。将图形处理器（GPU）与神经网络处理器（NPU）组合使用，通过算子切分让不同硬件承担各自擅长的计算任务，是提升整体吞吐的常见思路。但”加上了 NPU 就一定会更快”并不是一个可以默认成立的结论——协作本身会引入数据搬运、同步等待、切分边界处的额外开销，收益取决于模型结构、量化方式、切片粒度与运行时调度策略的匹配程度。

本文的评测对象是：在同一套社区构建的推理可执行文件（下称”方案 A”）内部，针对同一模型与同一量化配置，比较三种计算资源编排方式的实际表现。模型为某类中等规模的混合专家（MoE）结构生成模型，采用低比特量化格式（4 比特级，含部分高精度共享张量与多令牌预测模块）。三种编排方式分别是：

• 配置 G：仅使用 GPU 执行全部推理计算，作为基线；
• 配置 S：启用 NPU 切片协作，将部分算子或层切分到 NPU 上执行，与 GPU 形成流水；
• 配置 D：启用 NPU 双存储体（双 bank）协作，在同一 NPU 内部以两组存储分区并行承载切片任务。

本文面向的读者包括开发者、系统架构师、运维工程师与技术负责人。阅读后应当能够回答三个问题：这类异构协作方案的评测应当如何设计；加速效果的来源与边界在哪里；在什么条件下值得开启 NPU 协作、在什么条件下应当保持 GPU 单跑。

需要强调的是，本文不给出绝对化的”优劣”结论。推理性能高度依赖具体硬件配置、驱动版本、模型文件、批大小与提示长度分布，任何脱离条件的加速比都缺乏参考价值。本文的重点是提供一套可复现的评测方法与结果解读框架。

二、评测目标

本次评测围绕以下五个问题展开，每个问题对应一组可观察指标：

编号	评测问题	关键观察指标
Q1	NPU 协作是否带来端到端时延下降	首令牌时延、每令牌输出时延、总生成耗时
Q2	加速收益是否随负载规模变化	不同批大小、不同提示长度下的时延与吞吐曲线
Q3	协作模式是否影响输出一致性	相同输入下的输出文本一致性、困惑度偏移
Q4	资源占用与功耗特征如何变化	显存占用、系统内存占用、加速器利用率、整机功耗
Q5	长时间运行是否稳定	连续请求下的错误率、时延抖动、内存增长趋势

这五个问题构成一个完整判断链：先确认有没有收益（Q1），再确认收益是否稳定可扩展（Q2），然后排除”快了但算错了”的风险（Q3），接着评估收益的代价（Q4），最后验证工程可用性（Q5）。缺少任一环节，评测结论都可能被误用。

三、评测对象说明

方案 A 是一套面向异构计算平台的推理运行时，其特点是允许在同一进程内把模型的不同计算段分配到不同加速器上，并以内存映射方式共享权重。本次使用的模型为混合专家结构，推理时仅激活部分专家，因此计算负载具有明显的稀疏性与不均衡性——这一点对异构切分策略的选择影响很大：稀疏激活意味着单次前向的算子组合会随输入变化，固定的切分方案在某些输入上可能出现负载倾斜。

量化方面采用 4 比特级非对称量化，同时对部分敏感张量保留较高精度（共享张量 8 比特），并保留多令牌预测头。这种混合精度结构使得不同层的计算密度与内存带宽需求差异明显，为”把带宽敏感型任务放到 NPU、把算力密集型任务留在 GPU”提供了空间，但也提高了切分点选择的难度。

三种配置共享同一份模型文件、同一套运行时参数与同一硬件平台，唯一变量是计算资源编排方式。这是本次评测能够成立的前提。

四、评测维度设计

4.1 功能完整性

验证三种配置是否都能完成完整生成流程，包括提示编码、预填充、逐令牌解码、多令牌预测校验与终止条件判断。重点关注 NPU 协作模式下是否存在算子回退（fallback）——即某些算子因不支持而被迫退回 GPU 执行，这类回退会引入额外同步，是隐性性能损失的主要来源。验证方法是开启运行时的算子分配日志，统计回退次数与回退算子类型。

4.2 性能表现

拆分为三个层次观察：预填充阶段（计算密集、并行度高）、解码阶段（访存密集、并行度低）、以及两者之间的切换开销。解码阶段通常是异构协作收益最明显的环节，因为其瓶颈常在内存带宽而非纯算力，NPU 的片上存储可以分担部分权重读取压力。评测时应对两个阶段分别计时，避免总时延掩盖结构性差异。

4.3 输出一致性

异构切分原则上不改变数学结果，但不同硬件的累加顺序、舍入策略与近似算子实现可能带来微小数值差异。验证方法是对一组固定提示做贪心解码，逐令牌比对三种配置的输出序列；同时对一批样本计算输出困惑度，观察分布偏移是否在可接受范围内。若出现明显分歧，需定位到具体层与算子。

4.4 稳定性与长时表现

连续施加混合长度请求，观察时延分布的尾部（P95、P99）而非仅看均值。异构协作的典型风险是同步点处的排队放大：当某一侧计算单元的负载波动时，另一侧会进入等待，表现为时延长尾变厚。同时监控进程内存与加速器内存的长期增长，判断是否存在切片缓冲区未复用的问题。

4.5 资源与成本结构

记录显存占用、系统内存占用、两侧加速器利用率与整机功耗。协作模式的價值不只体现在速度上，也体现在”用较少的 GPU 显存完成同样的工作”——如果 NPU 分担了部分权重驻留，GPU 侧可释放显存用于更大批处理或更长上下文，这是一条独立的收益路径。成本评估应把资源占用折算进单位请求成本，而非只看时延。

4.6 易用性与可维护性

评估开启协作所需的配置改动量、参数可调粒度、日志与指标的可观测性、以及故障时的降级路径。一个实用的判据是：当 NPU 侧出现异常时，运行时能否自动退回 GPU 单跑而不中断服务。

五、评测环境与前提

评测需在受控条件下进行，明确记录以下要素：硬件平台型号与固件版本、加速器驱动与运行时版本、模型文件哈希、量化配置、批大小、上下文长度、提示长度分布、以及系统内存与显存的实际可用容量。

控制变量的具体要求：

1. 三种配置使用同一份模型文件与同一套采样参数；
2. 关闭其他占用加速器的后台进程；
3. 固定输入样本集，覆盖短提示（数十令牌）、中提示（数百令牌）与长提示（数千令牌）三档；
4. 每组配置预热若干轮后开始记录，排除首次加载的编译与缓存开销；
5. 每组配置重复多轮取统计量，报告均值与分位数。

测试边界需明确：单机单进程、无网络依赖、不涉及多卡互联。结论不适用于分布式部署场景。

六、评测方法

6.1 测试流程

阶段一：基线采集
  配置 G 运行样本集 -> 记录时延、资源、输出
阶段二：协作模式采集
  配置 S 运行同样本集 -> 记录同维度指标
  配置 D 运行同样本集 -> 记录同维度指标
阶段三：一致性比对
  逐令牌比对三组输出 -> 计算分歧位置与数量
阶段四：稳定性压测
  连续混合请求 -> 记录 P95/P99、错误率、内存曲线
阶段五：异常与降级验证
  注入 NPU 侧异常 -> 观察是否自动回退、服务是否可用

6.2 分维度验证方法

性能验证采用分阶段计时：在运行时埋点记录预填充开始/结束、每个解码步的开始/结束，以及跨设备同步点的等待时长。同步等待时长是关键指标——它直接反映协作开销，若该值占端到端时延比例过高，说明切分粒度过细或两侧负载不匹配。

一致性验证采用固定随机种子与贪心解码，避免采样随机性干扰。对分歧样本进一步做逐层激活比对，定位首个出现显著差异的层。

稳定性验证采用混合请求流，刻意制造长短请求交替，观察协作模式下长尾时延是否被放大。这是异构方案最容易被忽略的失效模式：平均值好看，尾部不可用。

6.3 结果记录模板

建议以如下结构记录每组结果，便于横向对比：

指标	配置 G	配置 S	配置 D
首令牌时延均值/分位数	记录	记录	记录
每令牌时延均值/分位数	记录	记录	记录
预填充耗时	记录	记录	记录
同步等待占比	记录	记录	记录
加速比（相对 G）	1.00	计算	计算
显存峰值	记录	记录	记录
系统内存峰值	记录	记录	记录
输出分歧令牌数	基准	记录	记录
P99 时延	记录	记录	记录
错误率	记录	记录	记录

七、结果解读方法

对同一份数据，不同的解读方式会导向不同的选型结论，因此需要明确判读规则：

关于加速比。 加速比应分阶段看：若预填充阶段加速不明显而解码阶段加速明显，说明收益主要来自带宽分担，这类收益在长文本生成场景更有价值；若两阶段同步提升，则可能来自整体算力补充，需进一步确认是否只是资源堆叠而非协同优化。若加速比在不同批大小下波动剧烈，说明切分策略对负载规模敏感，工程上需要做自适应调整。

关于同步开销。 同步等待占比是判断协作”是否划算”的核心。占比低，说明切分点选得好，两侧负载均衡；占比高，则意味着增加的计算资源被等待消耗掉了，此时提高 NPU 参与度反而可能变慢。双存储体协作的预期收益正来自降低同一设备内的存储争用，若实测同步开销未下降，需检查存储分区配置是否真正生效。

关于一致性。 少量令牌分歧通常可归因于数值精度差异，属于可接受范围；若分歧出现在生成早期并导致语义漂移，则说明某类算子在高精度路径上实现不一致，需要排除该算子或调整切分点。

关于长尾。 若 P99 时延相对基线的放大幅度明显超过均值放大幅度，说明协作引入了排队放大效应。此类问题在小规模测试中不易暴露，必须依赖混合负载压测。

八、适用场景分析

不同业务场景对上述维度的权重完全不同：

• 交互式低延迟场景（对话、补全）：首令牌时延与 P99 时延权重最高，宁可不开启协作也不要引入长尾抖动。若协作模式的尾部表现与基线持平且均值有改善，可谨慎启用。
• 批量离线生成场景（内容生产、数据合成）：吞吐与单位成本主导，可接受较高时延，此时应重点验证协作模式在稳定批大小下的持续吞吐与功耗表现。
• 长上下文场景：解码阶段访存压力大，带宽分担型收益更明显，但需重点验证切片缓冲区在长序列下的内存增长。
• 显存受限场景：若协作能把部分权重移出 GPU 显存，则收益不只是速度，还包括可支持的上下文长度与批大小上限，这类收益应单独评估。
• 高可用要求场景：必须验证降级路径，确保 NPU 侧异常时服务不中断。

九、风险与限制

评测结论的适用边界需要显式声明：

1. 样本偏差：提示长度分布与任务类型会显著影响结果，单一数据集上的加速比不可外推；
2. 环境差异：驱动版本、固件版本与运行时版本的变化可能改变算子分配策略，进而改变性能特征；
3. 模型绑定：结论针对特定模型结构与量化配置，换用不同稀疏度或不同量化粒度的模型需重新评测；
4. 规模化不确定：单机单进程结论不覆盖并发多请求、多进程争用与分布式场景；
5. 长期不确定性：短时压测无法完全暴露内存碎片、句柄泄漏与热节流问题，需更长周期的观察；
6. 数值风险：混合精度下的算子实现差异可能在特定输入上放大，需保留一致性回归测试。

十、选型与使用建议

基于通用评测逻辑，给出如下中立建议：

• 先建立基线再谈协作：任何协作模式的评估都必须以同条件下的单设备基线为参照，否则无法区分收益来源；
• 以尾部时延为准入门槛：均值改善但尾部恶化，在交互式场景中应视为不可用；
• 优先验证降级路径：协作带来的可用性风险高于单设备方案，自动回退能力是工程上线的必要条件；
• 按场景选择切片粒度：低延迟场景宜采用粗粒度切分以减少同步点，吞吐优先场景可尝试细粒度切分以提高并行度；
• 把资源释放计入收益：若协作释放了主加速器显存，应把由此获得的批大小或上下文长度提升折算为实际收益，而非仅看时延；
• 持续回归：将输出一致性与长尾时延纳入常规回归测试，避免驱动或运行时升级后性能特征悄然改变。

十一、总结

本文以异构计算平台上大模型推理的算力协同为评测对象，围绕”单设备基线、切片协作、双存储体协作”三种编排方式，建立了覆盖功能完整性、分阶段性能、输出一致性、稳定性、资源成本与可维护性的评测框架。核心判断逻辑是：协作的收益来自负载分担与带宽缓解，代价来自同步等待与切分边界开销，二者之比决定方案是否成立；而这一比值随模型结构、量化配置、负载规模与场景时延要求而变化，不存在普遍适用的结论。

评测的边界同样明确：结论限于受控的单机环境与特定模型配置，不覆盖分布式与高并发生产场景。对于计划引入异构协作的团队，建议以本文的维度清单为起点，先完成基线与一致性验证，再逐步放开协作范围，并始终保留可回退路径。