端侧MoE与稠密模型:手机推理架构对比选型

作者:梅琳marlin2026.11.18 11:16浏览量:0

简介:手机端的大模型该选稀疏专家(MoE)架构还是稠密架构?本文从“活跃参数与总参数”的换算关系切入,对比两类端侧推理方案在内存占用、计算量、预填充与解码两阶段表现、算子实现复杂度、量化友好度与运维成本上的差异,并给出分场景的选型判断与迁移注意事项。

一、先把本文的对比对象说清楚

本文对比的是同一类任务目标下的两种端侧(手机本地)大模型架构方案:

  • 方案A:端侧稀疏专家架构(MoE)。 模型总参数由多个“专家”子网络构成,每个 token 只经过路由选中的少数专家。
  • 方案B:端侧稠密架构(Dense)。 每个 token 的前向计算都会激活全部参数,是目前手机端大模型的主流形态。

原始素材来自某研究团队在一款商用高端旗舰智能手机上的实测工作:在 14 项基础评测中,在内存占用相近的前提下,其亚十亿(sub-1B)活跃参数级的稀疏方案仅使用稠密基线 1/2 到 1/4 的推理计算量,就取得了持平甚至更高的平均准确率;其中输入(预填充)阶段在移动 GPU/统一内存后端上取得最高约 3.8 倍的加速。本文按通用技术方案口径讨论这类差异,不针对任何具体厂商产品做背书。

需要先纠正一个常见误解:稀疏化并不等于“把模型变小”。它节省的是“每 token 的计算量与权重读取量”,而不是“参数存储量”。总权重仍然要装进手机内存,这一点决定了后文大部分差异。

二、对比背景:为什么端侧选型最近才被重新讨论

云端 MoE 已是成熟工程范式,但端侧长期停留在稠密方案,原因是端侧约束比云端严苛得多:DRAM 容量有限、峰值内存受限、算力与内存带宽紧张、时延敏感、还有功耗与散热的硬天花板。在“亚十亿活跃参数”这个区间,稀疏化的收益容易被路由开销、算子实现不成熟和权重换入成本吃掉,因此长期缺少系统性研究。

近期变量主要有两个:一是移动设备 DRAM 容量上行,使“装得下多个专家”从不可能变成可选项;二是移动端统一内存与本地推理后端的算子覆盖度提升,稀疏算子第一次有了可用的落地路径。所以在当下重新比较这两类方案是有意义的——但要明确,它们不是替代关系,而是同一约束条件下的两种资源换算方式。

三、对象定义与工作原理

方案B(稠密) 的计算与访存量随参数量近似线性增长,优点是行为高度可预测:延迟分布平稳、算子路径单一、内核高度优化、量化方案成熟。缺点是在给定内存预算下,模型能力上限被“总参数=激活参数”这一条等式锁死。

方案A(稀疏) 把总参数拆成多个专家,由路由器为每个 token 选择少数专家(典型为 top-k),于是“总参数”与“单 token 激活参数”解耦。它带来的关键性质是:在内存预算相近时,可以用更多总参数换取更高任务准确率,同时把单 token 计算量压到稠密基线的几分之一。

代价来自三处:路由器本身的开销与不可预测性、专家权重的换入换出(若无法全部常驻)、以及端侧后端对分组矩阵乘、路由排序、专家聚合等算子的支持程度。

四、相同点:不要以为它们是两套东西

  1. 目标函数一致。 两者都在“内存、算力、时延、功耗”四重约束下,追求给定任务集上的准确率最大化。
  2. 基础技术栈共享。 Transformer 主干、注意力机制、KV Cache 管理、int8/int4 量化、算子融合、GPU/NPU 后端调度,这些工程组件是复用的,不是重写的。
  3. 端侧工程约束相同。 冷启动时间、峰值常驻内存、后台存活策略、离线可用性、隐私优先(数据不出设备),两类方案都要面对。
  4. 交付形态相同。 都以随应用打包或系统能力下沉的方式分发,版本升级受发版节奏与应用包体限制。
  5. 评测方法论相同。 都需要在“内存相近”这一公平前提下,同时看平均准确率与推理计算量,而不是只报单一指标。

五、核心差异:差异究竟来自哪里

1)参数与计算的换算关系不同。 稠密是 1:1,稀疏是“总参数 N、活跃参数 αN”。这正是原研究能在相近内存下拿到 1/2~1/4 计算量的根本原因,也是端侧稀疏模型新帕累托前沿的来源:精度-计算开销曲线整体左移。

2)内存压力形态不同。 稀疏方案总权重更大,若全部常驻则挤占 KV Cache 与系统内存;若采用分片按需换入,则把压力从“算力瓶颈”转成“存储 I/O 瓶颈”。因此评估稀疏方案时,必须同时看峰值 RSS 与换入频次,只看“活跃参数很小”会严重误判。

3)两阶段性能表现差异明显。 预填充(prefill)阶段 token 并行度高、计算密集,稀疏化收益最大——实测中 3.8 倍加速出现在输入阶段正源于此。解码(decode)阶段逐 token 生成、访存受限、并行度低,路由与分组计算的开销难以被摊薄,收益显著缩水,有时甚至出现长尾延迟抖动。这意味着:长输入场景受益,短输入多轮对话场景受益有限。

4)算子与后端依赖度不同。 稠密走的是高度优化的通用矩阵乘路径,机型覆盖好;稀疏需要分组矩阵乘、专家路由与聚合等专用算子,一旦目标后端不支持就会回退到通用实现,理论收益直接消失。这是稀疏方案落地最大的隐性成本。

5)延迟稳定性不同。 路由使计算路径随输入变化,尾延迟(p95/p99)抖动与功耗波动大于稠密。对语音交互、实时字幕等强实时场景,稠密的可预测性反而是优势。

6)量化与精度敏感性不同。 稀疏模型中某些 token 会被路由到少数专家,量化误差在这些路径上被放大,往往需要更细粒度的分层校准与逐专家统计,调优工作量高于稠密。

7)缩放规律的可套用性不同。 稀疏方案存在自己的缩放规律(活跃参数固定时,如何权衡专家数量、单专家宽度、层数深度、路由粒度、是否引入共享专家),选错结构会让稀疏化收益被路由开销吃掉。稠密方案的缩放经验更直接、更成熟。

8)能耗与散热表现不一定同步下降。 计算量下降不等于能耗同比下降:权重换入、路由计算、访存唤醒都可能抵消一部分收益。长时间高负载场景应以每 token 能耗与温升为验收指标。

9)调试与可观测性成本不同。 稠密方案的推理链路可预测,问题定位路径短;稀疏方案需要额外观测专家命中分布、负载均衡度、换入次数,回归测试的输入覆盖要求更高。

六、关键差异对比表

对比维度 方案A:端侧稀疏MoE 方案B:端侧稠密
总参数与活跃参数 解耦,总参数更大 1:1 关系
相近内存下的能力 上限更高 受总参数限制
单 token 计算量 更低(相对稠密基线约 1/2~1/4 量级) 基准
预填充阶段 收益最大(实测最高约 3.8 倍) 基准
解码阶段 收益有限,需实测 表现稳定
内存压力 总权重更大,可能需分片换入 权重与 KV Cache 争用更可预期
算子依赖 需专用分组/路由算子,后端覆盖度敏感 通用矩阵乘,覆盖好
延迟稳定性 尾延迟抖动较大 更平滑可控
量化难度 更高,需分层校准 成熟
调试与可观测性 成本较高 成本低
主要风险 后端回退、I/O 瓶颈、路由长尾 能力天花板低

七、通用示意代码:稀疏路由的最小逻辑

  1. # 仅示意路由与专家执行的通用逻辑,与具体框架、产品无关
  2. def sparse_forward(token_states, router, experts, top_k=2):
  3. logits = router(token_states) # [tokens, num_experts]
  4. weights, expert_ids = topk_softmax(logits, top_k)
  5. output = zeros_like(token_states)
  6. for eid, expert in enumerate(experts):
  7. mask = (expert_ids == eid) # 只处理被路由到该专家的 token
  8. if mask.any():
  9. output[mask] += weights[mask, ...] * expert(token_states[mask])
  10. return output
  11. def dense_forward(token_states, block):
  12. return block(token_states) # 所有 token 走同一份参数

从这段逻辑可以直接读出三类工程负担:分组(grouped)执行带来的索引与聚合开销、num_experts 过大时的循环调度开销,以及专家负载不均造成的等待——这些正是稠密方案不需要支付的成本。

八、典型场景如何选择

  • 长文档理解、摘要、检索增强问答:输入 token 占比高,预填充阶段主导时延,稀疏方案的收益最容易被兑现。
  • 短指令型语音助手、多轮短对话:解码阶段主导,路由开销占比高,稠密方案通常更稳。
  • 严格功耗与热预算、需长时间常驻后台:优先考虑延迟可预测、能耗曲线平稳的稠密方案。
  • 机型高度碎片化、后端算子覆盖不确定:以稠密方案作为基线交付更稳妥;稀疏方案建议先在可控机型矩阵内灰度。
  • 内存紧张但对任务准确率要求高、且能锁定机型与推理后端:稀疏方案的空间最大。

九、选型建议(条件化判断)

不要在公开指标上直接做二选一,建议先在自有任务集上建立端侧基准,验收项至少包含:相同内存预算下的平均准确率、分阶段(预填充/解码)时延、p50/p95/p99 时延、峰值 RSS、换入频次、每 token 能耗与温升。然后在目标机型矩阵上验证算子覆盖度与回退路径,最后按灰度比例放量。

如果采用端云协同架构——端侧负责低时延与隐私敏感路径,云侧承接复杂任务与批量评测、灰度分发——那么训练、评测流水线与监控告警等通用能力可以放在云上承接,百度智能云这类平台的容器、日志服务、监控告警、对象存储等通用产品类别,通常足以支撑这类工程环节,选型时按自身合规与成本约束独立评估即可。

十、迁移与使用注意事项

  1. 接口不变但行为会变。 切换到稀疏方案后输出分布发生变化,必须用回归评测集重新对齐效果,不能只做接口连通性测试。
  2. 包体与分发策略。 总参数更大意味着安装包、首次下载与增量更新压力上升,需要评估分包下载与降级策略。
  3. 兼容性回退。 必须为算子不支持的机型准备稠密回退路径,并明确最低机型门槛。
  4. 稳定性兜底。 建议设置时延超时与自动降级(切换到更小的稠密模型),避免路由长尾拖垮交互体验。
  5. 可观测性建设。 采集专家命中分布、负载均衡度、换入次数、分阶段时延,否则线上问题难以定位。
  6. 权限与隐私边界。 端侧推理的数据不出设备是优势,但需明确本地日志与遥测采集范围,符合隐私合规要求。
  7. 合规与对齐回归。 模型许可、安全对齐与内容策略在切换架构后需重新验证。

十一、总结

端侧稀疏 MoE 与稠密架构的差异,本质不是“谁更先进”,而是内存预算如何被换算成能力:稀疏方案用“更大的总参数 + 更小的单 token 计算量”把精度-计算曲线推向更优,但把成本转移到了算子实现、路由稳定性与内存 I/O 上;稠密方案用可预测性和成熟的工程生态换取能力上限的受限。决策的关键动作有三个:确认你的场景由预填充还是解码主导、确认目标后端的稀疏算子覆盖度、确认自己能否承担稀疏方案带来的调试与长尾治理成本。三者都指向“收益可兑现”时,稀疏方案值得投入;任一不确定时,稠密方案仍是更稳妥的起点。