简介: 本文对比移动端大语言模型的两类主流架构路线:端侧混合专家模型(MoE)与传统稠密模型。文章从架构原理、内存占用、推理时延、精度表现、工程接入难度等维度展开系统分析,结合端侧MoE在商用智能手机上的最新实测进展(预填充阶段最高提速约3.8倍、计算量降至稠密基线的1/2至1/4仍保持精度持平),给出典型场景下的选型建议与迁移注意事项,帮助开发者与技术负责人在端侧模型部署中做出更合理的架构决策。
近年来,混合专家模型(Mixture of Experts,MoE)已在云端大模型中被广泛采用,成为提升模型容量与控制推理成本的重要手段。然而在手机等移动设备上,大语言模型长期以来仍以稠密架构为主。原因在于端侧环境的约束更为严苛:内存容量有限、算力受限、时延敏感、功耗预算紧张,而活跃参数在十亿以下量级的端侧MoE,过去一直缺少系统性的研究与工程验证。
如今,随着移动设备DRAM容量的持续提升,MoE架构开始具备部署到智能手机上的可行性。近期有研究团队提出了面向端侧的MoE方案(下文称“方案A”,即端侧MoE),并首次在商用智能手机上实现了高效的MoE推理;实测显示,在内存占用与稠密基线相近的情况下,方案A仅用稠密基线1/2到1/4的推理计算量,就在14个基础测试中取得了持平甚至更高的平均准确率,其中在主流移动推理后端的GPU加速路径上,输入预填充阶段最高可提速3.8倍。该工作还提出了一套端侧MoE缩放规律,用于指导更适合手机部署的模型结构设计,为端侧大模型建立了新的精度—计算量帕累托前沿。
这一进展使得“端侧到底该选MoE还是稠密架构”成为一个具有现实意义的工程决策问题。本文将围绕这两类架构展开对比。
稠密架构(方案B):即传统端侧LLM普遍采用的方案。模型中每一层的前馈网络参数在每次前向计算时全部激活,所有参数参与每一次token的计算。其特点是结构简单、行为可预测、访存模式规整,对端侧推理框架的适配最为成熟。
端侧MoE(方案A):将模型的若干前馈层替换为多个“专家”子网络,配合门控路由机制,每个token只激活其中少量专家(即稀疏激活)。其核心思想是:用较大的总参数量承载更强的知识容量,同时用较小的活跃参数量控制单次推理的计算开销。在端侧,这意味着可以在内存允许的范围内“装下”更大的模型,而推理时只付出稠密小模型级别的计算代价。
需要强调的是,MoE在端侧的挑战与云端不同:云端可以通过多卡并行掩盖专家负载不均的问题,而手机上只有单一SoC,内存带宽、缓存层次、调度开销都直接暴露在推理路径上,因此端侧MoE必须有专门的系统级优化(如专家权重的高效加载、内核融合、内存布局优化),这也是此前端侧MoE难以落地的主要原因。
尽管架构路线不同,两类方案在多个维度上是一致的:
这是两类方案最显著的差异。稠密模型每个token都要激活全部前馈参数;端侧MoE通过稀疏激活,单token计算量可降至同等内存占用稠密基线的1/2至1/4。实测中,提速在输入预填充阶段最为明显——预填充是计算密集型阶段,计算量的大幅缩减可直接转化为吞吐提升,GPU加速后端下最高可达3.8倍。解码阶段则更多受内存带宽和调度开销影响,收益相对收敛。
两者可在相近内存占用下对比:端侧MoE虽然总参数量更大,但通过量化和按需访问专家权重,可与稠密基线占用相近内存,同时获得更高的“有效容量”。不过MoE对内存管理的要求更高:路由结果在推理前不可预知,专家权重的加载与缓存策略直接影响性能。
稠密架构是端侧推理框架的“一等公民”,工具链、量化方案、内核优化均高度成熟,接入成本最低。端侧MoE则需要推理后端对稀疏计算有专门支持,开发者需要关注:门控路由的内核效率、专家权重内存布局、不同硬件后端(CPU与GPU加速路径)的表现差异。从原始工作的实测看,不同后端上的收益幅度并不一致,接入前需在目标设备上实测验证。
在相近内存预算下,端侧MoE可以做到持平甚至更高的平均准确率,其优势来自更大总参数量带来的知识容量。但这依赖于合理的结构配置——研究团队提出的端侧缩放规律(如专家数量、活跃专家数、总参数与活跃参数的比例如何随设备内存与算力调整)正是为了解决“结构配置不当反而劣化精度或时延”的问题。
稠密模型的推理行为确定性强,性能分析、功耗评估相对简单。MoE引入了路由这一动态因素,负载波动、专家命中分布不均等问题都可能影响时延稳定性,需要更细致的性能剖析与监控手段。
| 维度 | 端侧MoE(方案A) | 端侧稠密架构(方案B) |
|---|---|---|
| 激活方式 | 稀疏激活,每token仅激活部分专家 | 全参数激活 |
| 单token计算量 | 稠密基线的1/2~1/4(同内存下) | 基准值 |
| 预填充时延 | GPU后端下最高提速约3.8倍 | 基准值 |
| 精度(同内存预算) | 持平或更高(依赖合理结构配置) | 基准值 |
| 内存管理要求 | 高(专家加载、缓存策略) | 中低,模式规整 |
| 推理框架适配 | 需专门优化,需实测各后端收益 | 成熟,开箱即用 |
| 行为可预测性 | 受路由动态性影响 | 确定性强 |
| 结构设计依据 | 需参考端侧缩放规律 | 经验性缩放即可 |
| 适用阶段 | 内存充裕、时延敏感的新项目 | 快速验证、硬件范围广的项目 |
从稠密方案迁移到端侧MoE时,建议关注以下几点:
端侧MoE与稠密架构并非简单的替代关系,而是不同资源约束与工程成熟度下的两条路线。端侧MoE以稀疏激活换取计算量的大幅下降,在内存相近条件下可达到持平甚至更高的精度,预填充阶段提速尤为显著,但代价是更高的内存管理要求和框架适配复杂度;稠密架构则以成熟稳定的工具链和可预测的行为,继续适合广泛机型覆盖与快速迭代场景。随着端侧缩放规律等系统研究的完善,端侧MoE正在成为精度—效率权衡上的新帕累托前沿。对开发者而言,合理的决策路径是:先明确目标设备范围与时延需求,再在真实机型上完成两类方案的实测对比,最后结合团队的调优能力与维护成本做出条件化选择。