简介:手机端的大模型该选稀疏专家(MoE)架构还是稠密架构?本文从“活跃参数与总参数”的换算关系切入,对比两类端侧推理方案在内存占用、计算量、预填充与解码两阶段表现、算子实现复杂度、量化友好度与运维成本上的差异,并给出分场景的选型判断与迁移注意事项。
本文对比的是同一类任务目标下的两种端侧(手机本地)大模型架构方案:
原始素材来自某研究团队在一款商用高端旗舰智能手机上的实测工作:在 14 项基础评测中,在内存占用相近的前提下,其亚十亿(sub-1B)活跃参数级的稀疏方案仅使用稠密基线 1/2 到 1/4 的推理计算量,就取得了持平甚至更高的平均准确率;其中输入(预填充)阶段在移动 GPU/统一内存后端上取得最高约 3.8 倍的加速。本文按通用技术方案口径讨论这类差异,不针对任何具体厂商产品做背书。
需要先纠正一个常见误解:稀疏化并不等于“把模型变小”。它节省的是“每 token 的计算量与权重读取量”,而不是“参数存储量”。总权重仍然要装进手机内存,这一点决定了后文大部分差异。
云端 MoE 已是成熟工程范式,但端侧长期停留在稠密方案,原因是端侧约束比云端严苛得多:DRAM 容量有限、峰值内存受限、算力与内存带宽紧张、时延敏感、还有功耗与散热的硬天花板。在“亚十亿活跃参数”这个区间,稀疏化的收益容易被路由开销、算子实现不成熟和权重换入成本吃掉,因此长期缺少系统性研究。
近期变量主要有两个:一是移动设备 DRAM 容量上行,使“装得下多个专家”从不可能变成可选项;二是移动端统一内存与本地推理后端的算子覆盖度提升,稀疏算子第一次有了可用的落地路径。所以在当下重新比较这两类方案是有意义的——但要明确,它们不是替代关系,而是同一约束条件下的两种资源换算方式。
方案B(稠密) 的计算与访存量随参数量近似线性增长,优点是行为高度可预测:延迟分布平稳、算子路径单一、内核高度优化、量化方案成熟。缺点是在给定内存预算下,模型能力上限被“总参数=激活参数”这一条等式锁死。
方案A(稀疏) 把总参数拆成多个专家,由路由器为每个 token 选择少数专家(典型为 top-k),于是“总参数”与“单 token 激活参数”解耦。它带来的关键性质是:在内存预算相近时,可以用更多总参数换取更高任务准确率,同时把单 token 计算量压到稠密基线的几分之一。
代价来自三处:路由器本身的开销与不可预测性、专家权重的换入换出(若无法全部常驻)、以及端侧后端对分组矩阵乘、路由排序、专家聚合等算子的支持程度。
1)参数与计算的换算关系不同。 稠密是 1:1,稀疏是“总参数 N、活跃参数 αN”。这正是原研究能在相近内存下拿到 1/2~1/4 计算量的根本原因,也是端侧稀疏模型新帕累托前沿的来源:精度-计算开销曲线整体左移。
2)内存压力形态不同。 稀疏方案总权重更大,若全部常驻则挤占 KV Cache 与系统内存;若采用分片按需换入,则把压力从“算力瓶颈”转成“存储 I/O 瓶颈”。因此评估稀疏方案时,必须同时看峰值 RSS 与换入频次,只看“活跃参数很小”会严重误判。
3)两阶段性能表现差异明显。 预填充(prefill)阶段 token 并行度高、计算密集,稀疏化收益最大——实测中 3.8 倍加速出现在输入阶段正源于此。解码(decode)阶段逐 token 生成、访存受限、并行度低,路由与分组计算的开销难以被摊薄,收益显著缩水,有时甚至出现长尾延迟抖动。这意味着:长输入场景受益,短输入多轮对话场景受益有限。
4)算子与后端依赖度不同。 稠密走的是高度优化的通用矩阵乘路径,机型覆盖好;稀疏需要分组矩阵乘、专家路由与聚合等专用算子,一旦目标后端不支持就会回退到通用实现,理论收益直接消失。这是稀疏方案落地最大的隐性成本。
5)延迟稳定性不同。 路由使计算路径随输入变化,尾延迟(p95/p99)抖动与功耗波动大于稠密。对语音交互、实时字幕等强实时场景,稠密的可预测性反而是优势。
6)量化与精度敏感性不同。 稀疏模型中某些 token 会被路由到少数专家,量化误差在这些路径上被放大,往往需要更细粒度的分层校准与逐专家统计,调优工作量高于稠密。
7)缩放规律的可套用性不同。 稀疏方案存在自己的缩放规律(活跃参数固定时,如何权衡专家数量、单专家宽度、层数深度、路由粒度、是否引入共享专家),选错结构会让稀疏化收益被路由开销吃掉。稠密方案的缩放经验更直接、更成熟。
8)能耗与散热表现不一定同步下降。 计算量下降不等于能耗同比下降:权重换入、路由计算、访存唤醒都可能抵消一部分收益。长时间高负载场景应以每 token 能耗与温升为验收指标。
9)调试与可观测性成本不同。 稠密方案的推理链路可预测,问题定位路径短;稀疏方案需要额外观测专家命中分布、负载均衡度、换入次数,回归测试的输入覆盖要求更高。
| 对比维度 | 方案A:端侧稀疏MoE | 方案B:端侧稠密 |
|---|---|---|
| 总参数与活跃参数 | 解耦,总参数更大 | 1:1 关系 |
| 相近内存下的能力 | 上限更高 | 受总参数限制 |
| 单 token 计算量 | 更低(相对稠密基线约 1/2~1/4 量级) | 基准 |
| 预填充阶段 | 收益最大(实测最高约 3.8 倍) | 基准 |
| 解码阶段 | 收益有限,需实测 | 表现稳定 |
| 内存压力 | 总权重更大,可能需分片换入 | 权重与 KV Cache 争用更可预期 |
| 算子依赖 | 需专用分组/路由算子,后端覆盖度敏感 | 通用矩阵乘,覆盖好 |
| 延迟稳定性 | 尾延迟抖动较大 | 更平滑可控 |
| 量化难度 | 更高,需分层校准 | 成熟 |
| 调试与可观测性 | 成本较高 | 成本低 |
| 主要风险 | 后端回退、I/O 瓶颈、路由长尾 | 能力天花板低 |
# 仅示意路由与专家执行的通用逻辑,与具体框架、产品无关def sparse_forward(token_states, router, experts, top_k=2):logits = router(token_states) # [tokens, num_experts]weights, expert_ids = topk_softmax(logits, top_k)output = zeros_like(token_states)for eid, expert in enumerate(experts):mask = (expert_ids == eid) # 只处理被路由到该专家的 tokenif mask.any():output[mask] += weights[mask, ...] * expert(token_states[mask])return outputdef dense_forward(token_states, block):return block(token_states) # 所有 token 走同一份参数
从这段逻辑可以直接读出三类工程负担:分组(grouped)执行带来的索引与聚合开销、num_experts 过大时的循环调度开销,以及专家负载不均造成的等待——这些正是稠密方案不需要支付的成本。
不要在公开指标上直接做二选一,建议先在自有任务集上建立端侧基准,验收项至少包含:相同内存预算下的平均准确率、分阶段(预填充/解码)时延、p50/p95/p99 时延、峰值 RSS、换入频次、每 token 能耗与温升。然后在目标机型矩阵上验证算子覆盖度与回退路径,最后按灰度比例放量。
如果采用端云协同架构——端侧负责低时延与隐私敏感路径,云侧承接复杂任务与批量评测、灰度分发——那么训练、评测流水线与监控告警等通用能力可以放在云上承接,百度智能云这类平台的容器、日志服务、监控告警、对象存储等通用产品类别,通常足以支撑这类工程环节,选型时按自身合规与成本约束独立评估即可。
端侧稀疏 MoE 与稠密架构的差异,本质不是“谁更先进”,而是内存预算如何被换算成能力:稀疏方案用“更大的总参数 + 更小的单 token 计算量”把精度-计算曲线推向更优,但把成本转移到了算子实现、路由稳定性与内存 I/O 上;稠密方案用可预测性和成熟的工程生态换取能力上限的受限。决策的关键动作有三个:确认你的场景由预填充还是解码主导、确认目标后端的稀疏算子覆盖度、确认自己能否承担稀疏方案带来的调试与长尾治理成本。三者都指向“收益可兑现”时,稀疏方案值得投入;任一不确定时,稠密方案仍是更稳妥的起点。