简介：本文从定义、技术背景、核心组成、工作原理、典型场景和相关概念区别等角度，系统解释为什么2025年前后主流MoE模型逐步从“少量大专家”转向“更稀疏、更小、更多专家”的架构。读者可以理解稀疏激活的层次差异、微观MoE的设计难点，以及细粒度专家拆分、共享专家、动态路由和负载均衡等关键技术，为模型选型、训练优化和工程落地提供参考。
MoE的全称是Mixture of Experts，即“专家混合”。它的核心思想是：在一个大规模神经网络中训练多个子网络，这些子网络通常被称为“专家”。每次前向计算时，模型并不激活全部专家，而是根据输入特征，通过路由机制选择其中一部分专家进行计算。这样可以在保持模型总参数量很大的同时，控制实际激活的计算量。
传统MoE倾向于使用数量较少、但每个专家规模较大的设计。例如，一个模型可能包含8个或16个专家，每个专家本身就是一个较宽的Transformer前馈网络。这种设计虽然已经带来了稀疏激活收益，但在专家内部仍然是稠密计算。
到了2025年前后，主流MoE模型逐渐出现一种更明显的趋势：专家数量显著增加，单个专家规模明显缩小，每次推理只激活其中很小比例的一部分专家。换句话说，专家变得更“小”、更“多”，激活更加“稀疏”。
从技术上讲，这是一种从“粗粒度稀疏”向“细粒度稀疏”的迁移。模型不再只是“使用一部分大模块”，而是进一步在更微观的层面上选择计算路径。这个变化并不是简单增加专家数量，而是重新设计了专家的粒度、路由方式和负载均衡策略。
这一趋势的出现，主要有三方面原因：稀疏性的价值被进一步验证、微观MoE的收益更大但难度更高、以及训练稳定性方案逐步成熟。
神经网络的激活具有天然稀疏性。宏观上，多任务学习和多模态学习可以被视为任务级别的稀疏激活；中观上，注意力机制本身就在对输入信息进行选择性关注；更微观地看，网络中的大量权重和通道在一次前向计算中并没有被充分利用。
传统稠密模型的问题是：即使某一层中只有少部分神经元对当前输入真正有效，整个层仍然必须执行完整矩阵乘法。MoE通过显式地拆分专家，让每次计算只走一部分路径，从而减少不必要的计算。
问题在于，“只激活一部分大专家”仍然可能浪费算力。如果一个专家内部包含非常宽的隐藏层，那么即使当前输入只需要该专家的部分表示能力，也必须完整计算这个专家。更小、更多的专家意味着可以更精确地选择需要激活的计算单元，从而提高计算效率。
在大模型推理中，显存带宽和计算资源通常受到严格限制。实际部署时，往往会为单次前向计算设置一个激活参数量预算。例如，无论模型总参数量是100B还是1T，单次推理可能只允许激活20B参数。
如果专家数量少而单个专家大，那么每次激活一个专家就会消耗大量预算。此时路由选择非常“敏感”：激活哪一个专家，会显著影响结果。相反，如果专家数量多而单个专家小，激活组合更灵活，模型可以为不同输入选择更适配的细粒度路径，同时更稳定地接近激活预算上限。
因此，“更多、更小、更稀疏”的专家设计并不是为了稀疏而稀疏，而是为了在固定激活预算下获得更高的表达能力和路由灵活性。
专家拆得越细，面临的问题越复杂。
首先是专家相关性。任务级MoE的专家之间容易解耦，因为不同任务差异较大。但在微观层面，专家处理的是相近的特征表示，它们的功能往往高度相关。如果没有特殊设计，很多专家可能学到相似甚至几乎相同的映射，导致“专家坍塌”或“专家冗余”。
其次是路由不稳定。专家数量变多后，如果路由策略不当，某些专家会被频繁选中，另一些专家则几乎不参与训练。这不仅浪费参数，还会导致训练不稳定。
第三是负载均衡。细粒度专家需要良好的负载均衡机制，否则计算资源无法充分利用，甚至可能出现“热门专家”成为实际瓶颈的情况。
2025年前后，这些问题已经通过共享专家、更精细的Top-K路由、噪声扰动和辅助负载均衡损失等方法得到部分解决，使得“更小、更多、更稀疏”的MoE架构具备更强的工程可行性。
从工程实现上看，这种新型MoE架构通常由以下部分组成。
细粒度专家不再是一个大型前馈网络，而是一个相对较小的前馈单元。例如，一个专家可能只包含一个较窄的两层全连接网络加上激活函数。模型可以包含几十个甚至更多的专家，每次只激活其中若干。
一个通用的前向计算可以表示为：
输入 x路由打分：s = Router(x)选择 Top-K 专家：idx = topk(s, K)专家输出：y = sum(softmax(s[idx]) * Expert_i(x))
其中，Expert_i就是一个较小的前馈子网络。细粒度意味着Expert_i的隐藏维度或参数量远小于传统MoE中的大专家。
为了避免所有专家都学习公共表示，一些实现会引入“共享专家”。共享专家的特点是：无论路由结果如何，它都会对输入进行计算，其输出与路由选中的专家输出进行加权融合。
这种做法可以将通用知识放入共享专家，把差异化知识留给细粒度专家。它的好处是：
从设计上看，共享专家可以被视为一种“背景知识模块”，而路由选中的专家则负责处理输入中的特异性部分。
Top-K路由决定每个输入激活哪些专家。通常流程是：
当专家数量很多时，K值可以设置得相对较小。例如，总专家数达到128甚至更多时，K可以只取4或8。这样整体激活率很低，稀疏程度较高。
专家数量增多后，必须防止路由塌缩。常见策略包括：
这些机制的目标不是绝对平均，而是避免明显过热或过冷的专家，确保参数利用率和训练稳定性。
以一次Transformer层中的MoE前馈计算为例，整体流程如下。
第一步，输入进入MoE层。输入通常是序列中某个token或某个特征块经过注意力层后的表示。
第二步，路由器计算匹配分数。路由器本质上是一个小规模线性映射，将输入维度映射到专家数量维度。如果专家数量为N，则输出维度为N。
第三步，从N个专家中选择Top-K。K通常远小于N。假设N为64，K为6，那么单次激活率约为9.4%。如果N为128，K为8，激活率约为6.25%。相比传统稠密模型，这带来了数量级的计算节省。
第四步，对被选中的专家计算输出。每个专家是一个小前馈网络，其输出再乘以对应权重。
第五步，融合共享专家输出。如果存在共享专家，则共享专家的结果会与路由专家的加权结果相加。融合方式可能是简单相加，也可能通过可学习权重进行平衡。
第六步，输出进入下一层。该输出会作为后续Transformer层或其他模块的输入。
从系统角度看，这种设计的关键收益不在训练阶段，而在推理阶段。训练阶段由于要处理大量样本，通常需要更复杂的负载均衡与梯度传播，而推理阶段则可以利用稀疏激活显著降低单次前向计算成本。
这种“更小、更多、更稀疏”的MoE架构，尤其适合以下场景。
语言模型推理通常对延迟和吞吐有较高要求。总参数量很大但激活参数量较小的MoE模型，能够在保持模型知识容量的同时降低单次推理开销。对于在线服务、离线批处理和检索增强生成等任务，这种架构可以提供更优的“质量/成本”折中。
多任务和多模态场景天然存在任务级稀疏性。不同任务或模态可以激活不同专家。细粒度专家可以将这种稀疏性进一步细化到特征级别。例如，视觉语言模型在处理图像问题与纯文本问题时，可以激活不同子集专家，而不需要为每个任务维护一个独立大模型。
在资源受限环境或边缘场景中，不可能加载并运行全部参数。稀疏MoE可以将总模型拆分为大量小专家，推理时只加载所需部分。虽然真正的边缘MoE推理还面临显存和通信问题，但从长期趋势看，细粒度专家有利于按需加载和分布式部署。
在云服务中，不同用户请求可能具有不同分布。细粒度专家架构可以结合用户或业务元信息进行条件路由，让不同业务使用不同专家组合。这种能力适合在统一底座上服务多个下游应用，而不必为每个业务单独训练完整模型。
稠密模型中，每一层所有参数都会参与计算。MoE通过专家拆分和路由，使单次前向只激活部分参数。两者最大的区别不是总参数量，而是激活参数量。细粒度MoE进一步扩大“总参数多、激活参数少”的收益。
任务级MoE的专家通常对应不同任务、模态或数据源，专家之间边界较清晰。特征级MoE又称微观MoE，在更底层的特征表示上做路由。后者更难解耦，但也更接近稀疏计算的核心目标。
独立专家完全依赖路由选择，未选中的专家不参与当前计算。共享专家始终参与计算，用于承载通用特征。共享专家的引入不是为了让模型变稠密，而是为了让可路由专家专注于差异化和特异性知识。
参数分片通常是为了分布式存储和并行训练，逻辑上模型仍是稠密的。细粒度MoE则要求每次计算只激活少部分专家。前者解决“参数放不下”的问题，后者解决“不希望所有参数都算”的问题。两者可以结合，但目标不同。
专家数量过多会增加路由计算和通信开销；专家过少则难以体现细粒度优势。K值过大会削弱稀疏性，K值过小可能影响模型表达能力。实际设计中需要在模型质量、推理延迟和训练稳定性之间进行权衡。
细粒度专家容易出现专家热度不均。仅依靠Top-K选择可能导致少量专家被频繁激活。需要引入负载均衡损失、噪声路由或容量限制。否则可能出现部分专家过拟合特定模式，而其他专家几乎不更新，最终降低模型泛化能力。
路由是离散选择，涉及不可导操作。常见做法是使用梯度估计或重新参数化技巧。专家数量增多后，路由分布更分散，训练初期可能不稳定。建议采用较低学习率预热、路由温度退火和辅助正则化等策略。
在分布式推理中，不同专家可能部署在不同设备上。每次前向需要将输入发送到对应专家设备，并收集输出。专家数量很多时，通信模式和调度策略会显著影响吞吐。需要在推理系统中做好专家放置、批处理和缓存设计。
“更稀疏、更小、更多专家”的MoE架构，本质上是将稀疏激活从模块级进一步推进到更微观的特征级。它不是在简单堆叠更多专家，而是在固定激活预算下，通过更细粒度的路由选择，提高模型对输入差异性的适应能力，同时降低无效计算。
这一趋势之所以在2025年前后逐渐成为主流，是因为稀疏计算的价值已经得到验证，而细粒度MoE长期存在的专家相关性、路由不稳定和负载不均等问题，正在通过共享专家、精细Top-K路由和正则化机制得到改善。其结果是一种更适合大规模推理、多任务学习和高效服务的模型结构。
对于技术选型者而言，需要理解的关键不是“专家越多越好”，而是如何在模型能力、计算成本、训练稳定性和推理部署之间取得更优平衡。只有在细粒度专家、路由策略和工程系统共同配合下，这种架构才能真正发挥稀疏计算的价值。