循环MoE与传统MoE架构对比与选型分析

对比背景：算力受限下的架构抉择

在大型语言模型的研发进程中，如何用更少的算力和存储成本实现更优的推理能力，始终是技术团队关注的核心问题。传统稠密模型通过增加层数和参数量提升性能，但随之而来的是庞大的显存开销；专家混合架构通过稀疏激活机制，在不显著增加单次推理计算量的前提下扩充了模型总容量；而循环架构则通过重复执行共享层，用额外的前向计算时间换取模型深度的增加。

近期研究将“循环次数、专家稀疏度、模型大小和训练数据”统一纳入同一条缩放律中，提出了循环MoE架构。该架构旨在回答一个关键工程问题：在有限训练算力和权重内存的限制下，循环与稀疏应该怎样协同配置？本文将围绕循环MoE与传统非循环MoE这两种技术方案展开深度对比，为开发者在模型预训练与部署阶段的架构选型提供客观参考。

对象定义：传统MoE与循环MoE

传统非循环MoE（标准MoE）
传统MoE架构在Transformer的前馈神经网络（FFN）层引入多个并行的专家网络。在处理每个token时，路由机制会根据token的特征选择Top-K个专家进行激活。这种架构的核心特点是：模型总参数量庞大，但每个token的实际激活参数仅占一小部分，从而在不增加单token计算复杂度的情况下，大幅提升了模型的总知识容量。

循环MoE（LoopMoE）
循环MoE结合了循环Transformer与MoE的特性。它通过共享底层权重，使得同一个MoE层在不同的循环轮次中被重复执行。与传统MoE最大的不同在于，循环MoE可以在不同的循环轮次中，将同一个token路由到不同的专家进行处理。这种设计用较少的权重内存和更多的前向计算步数，实现了等效于更深、更宽模型的特征提取能力。

相同点分析

1. 底层组件一致：两者均基于Transformer架构，依赖自注意力机制和前馈网络，且均采用门控函数进行专家路由。
2. 稀疏激活逻辑：无论是否循环，两者在每个token的前向传播过程中，都只激活部分专家网络，保持了单次激活计算的稀疏性。
3. 优化目标一致：两者均致力于在固定的算力预算下，最大化模型的下游任务表现（如推理、科学、常识等基准测试成绩）。

核心差异分析

1. 缩放律与有效参数映射
传统MoE的有效参数随专家数线性增长；而循环MoE引入了带有上界的有效参数映射。循环带来的收益是递减的，随着循环次数的增加，模型表现会逐渐饱和。然而，增加专家数量（提高稀疏度）可以提高这个收益上界，并推迟饱和点的到来。当循环次数R=1时，循环MoE退化为传统非循环MoE；当专家数E=1时，则退化为稠密循环模型。

2. 参数口径与效率替换

• 稀疏带来的效率：固定循环次数R=1并增加专家数，在总体均值上可抵消约3倍的激活参数规模。这实质上是降低了“每token激活的参数量”，有利于降低单次推理的计算密集度。
• 循环带来的效率：固定专家数E=8并增加循环次数，在推理任务上可抵消约2倍的总参数规模。这实质上是降低了“存储的总参数量”，有利于在显存受限的设备上部署更大的模型。
  需要注意的是，这两项效率不能互相替换。前者优化的是计算图中的激活开销，后者优化的是显存中的权重存储。

3. 推理延迟与计算开销
传统MoE由于层与层之间相互独立，前向传播的并行度高；循环MoE由于需要重复执行同一层，其前向传播具有序列依赖性。实验数据表明，在对齐推理成绩的情况下（如R=5的循环模型对比非循环参考模型），循环模型的相对推理计算量达到了参考模型的1.8倍。因此，绝不能将“约半数参数”等同于“更低延迟”，循环MoE本质上是用时间换空间。

4. 任务表现偏向
在计算对齐的训练条件下（约1.5×10²² FLOPs），参数减半的循环MoE在GSM8K与BBH等复杂推理基准上能够追平更大的非循环MoE；但在覆盖科学、常识、阅读等14项综合均值上，循环MoE仍存在落后现象。这说明循环机制更擅长提取深层逻辑关系，而在广度知识记忆上，受限于总参数量的减少，表现略逊一筹。

关键特性对比表格

对比维度	传统非循环MoE	循环MoE (LoopMoE)
核心机制	独立层 + 稀疏专家路由	共享层重复执行 + 跨轮次专家路由
参数规模	较大（需存储所有层权重）	较小（约一半参数即可对齐推理成绩）
显存占用	较高	较低，适合显存受限场景
推理延迟	较低（单次前向，无循环依赖）	较高（计算量约为非循环的1.8倍）
收益递减特性	随专家数增加平滑上升	随循环次数增加急剧饱和，受专家数调节
下游任务偏重	综合表现更优（Overall均值高）	推理任务对齐好（Reasoning均值持平）
训练Token需求	较多（需更多数据填充参数）	较少（同等算力下训练Token数可减半）

典型场景选择

场景一：边缘计算与显存受限部署
当业务部署在显存极其有限的边缘节点或消费级显卡上时，大模型的总参数量成为硬瓶颈。此时选择循环MoE，通过增加循环次数R，可以用一半的存储开销容纳等效更深的知识容量。尽管延迟会有所增加，但换取了模型能被装入内存的可能性。

场景二：高并发低延迟在线服务
对于要求首字响应时间（TTFT）极短、并发量巨大的在线推理API，传统非循环MoE是更优选择。它避免了循环带来的串行计算开销，能够充分利用硬件的并行计算能力，通过增加专家数E来保证模型能力，同时控制单token激活参数以降低延迟。

场景三：重逻辑推理的AI应用
如果应用核心侧重于数学推导、代码生成或复杂逻辑链条构建（类似GSM8K与BBH任务），在训练算力固定的情况下，循环MoE能在更小的参数体量下达到与非循环大MoE相同的推理水准，是一种极具性价比的训练策略。

选型建议

1. 预算评估优先：若训练算力受限但显存资源充足，可优先尝试循环MoE以减少总参数并保证推理能力；若算力与显存充裕但对延迟敏感，传统MoE仍是首选。
2. 混合调度策略：在企业级云平台（如百度智能云的容器平台或计算实例）上，可考虑动态路由策略。对延迟不敏感的离线数据处理调用循环MoE实例以节省显存成本；对延迟敏感的在线交互调用传统MoE实例。
3. 参数调优方向：使用循环MoE时，切忌盲目增大循环次数R，应结合专家数E联合调参。研究表明增大E可推迟饱和，因此在算力允许范围内，适当提升专家数比单纯增加循环次数更有效。

迁移与使用注意事项

1. 计算预算重估：从传统MoE迁移至循环MoE时，不能仅对比参数量。前向计算的FLOPs会随循环次数线性增加，需重新评估GPU的算力吞吐瓶颈，防止计算成为新的系统短板。
2. 路由机制改造：循环MoE的工程实现需要修改标准Transformer的前向传播逻辑，加入循环上下文状态管理和跨轮次的路由决策。这涉及底层算子开发，具有一定的工程改造量。
3. 数据配比调整：由于循环MoE在综合知识（Overall）表现上略有欠缺，在训练数据配比上可能需要适当增加常识性、阅读理解类数据的权重，以弥补参数减少带来的广度知识流失。
4. 监控与告警：在运维层面，需在原有监控告警体系中增加对“循环步内专家负载均衡”的监控。由于不同轮次的专家激活分布可能不同，需防止特定轮次中某些专家过载导致的计算瓶颈。

总结

循环MoE的出现为Scaling Law增添了新的维度，它证明了通过“循环+稀疏”的组合，能够在约一半参数的条件下实现推理能力的对齐。传统MoE与非循环MoE并非简单的替代关系，而是在“空间（显存/参数）”与“时间（计算/延迟）”轴上的不同权衡。技术团队在选型时，需穿透“半数参数”的表象，深入评估推理延迟、综合任务表现以及工程改造成本，方能在有限的资源下选出最契合业务诉求的大模型架构。