简介:MoE大模型的计算量可以很低,但显存、路由和通信成本不会自动消失。本文给出统一口径的对比评测方法、关键指标、常见风险的监控项,以及一份选型检查表,帮助读者判断自己的业务是否适合采用MoE。
大模型参数规模持续增长。Dense(稠密)模型每次推理都要用到全部参数,计算量和显存成本随之快速上升。混合专家(MoE)架构试图在提高模型容量的同时控制单次推理的计算量。近期多个团队发布了MoE模型,各家的宣传口径差异较大。只看厂商公布的分数,很难判断某个模型在自己的业务里是否划算。评测需要在同一套任务、同一套硬件和同一套推理配置下进行,才能得到可比较的结论。
本文面向AI应用开发者、系统架构师、运维人员和技术决策者。本文讨论的是MoE这一技术路线的效果边界、工程成本和落地方法,不针对某一款具体产品,也不推荐任何品牌或平台。
在标准Transformer中,每个Token都要经过每一层的前馈网络(FFN)。MoE把这一层替换为多个并行的专家网络,并增加一个门控网络(路由器)。路由器根据Token的表示,为其选择一个或少数几个专家。常见做法是top-1或top-2路由。
MoE模型有两个容易混淆的参数指标:
Dense模型的两个指标相同。MoE模型的总参数量通常远大于激活参数量。这个差距既是MoE的优势来源,也是它的主要成本来源。
| 维度 | Dense模型 | MoE模型 |
|---|---|---|
| 每Token计算量 | 与总参数量相关 | 与激活参数量相关,通常明显更低 |
| 显存占用 | 与总参数量相关 | 需容纳全部专家,通常更高 |
| 路由与通信 | 无额外开销 | 需要路由计算,多卡部署时需跨卡通信 |
| 负载分布 | 不存在此问题 | 可能出现专家负载不均 |
| 推理框架支持 | 成熟 | 因框架和版本而异 |
评测不能只看准确率。建议覆盖以下五个维度,并为每个维度设定可量化的指标。
延迟应同时报告P50和P99。只报告平均值会掩盖排队和长尾问题。
评测需要控制变量。以下步骤可以作为参考。
每项结果建议至少重复运行三次,取中位数,并标注波动范围。
近期的MoE报告中常见“以更少计算量达到同等性能”之类的表述。这类数字有参考价值,但解读时要注意三点。
第一,对照对象是否匹配。“接近某Dense模型”可能指参数量相同,也可能指训练计算量相同。两者的比较含义不同。
第二,测试口径是否公开。模型版本、数据集、序列长度、精度和硬件若未说明,数字就难以复现。
第三,结论是否经过独立验证。厂商报告通常使用其自家优化过的推理环境,结果未必能直接迁移到其他环境。
因此,本文不引用未说明测试口径的具体百分比。对这类数据,建议先把它当作待验证的假设,再用第四节的方法在自己的环境中复测。
MoE每次推理只激活部分专家,但所有专家的权重都要驻留在显存中,或能被快速访问。显存容量要求不会因为计算量下降而同步下降。路由本身也会带来少量额外开销。
常见应对方式包括:
建议监控的指标:显存峰值、KV缓存占用和显存不足(OOM)次数。
如果门控网络训练不充分,Token可能集中分配给少数专家。这些专家成为瓶颈,拖慢整体推理速度,严重时会出现路由崩塌。
建议监控的指标:各专家调用频次的方差、最热门专家的队列长度、Token丢弃率(因容