简介:当一款大模型标称"万亿级总参数、千亿级激活参数"并支持百万级上下文时,这些指标究竟意味着什么?本文系统解读 MoE(Mixture-of-Experts)稀疏激活架构的定义、工作原理与上下文长度概念,讲清参数规模与激活参数的区别、MoE 与稠密模型的差异,并梳理长文档处理、大规模代码理解等典型场景与部署注意事项,帮助读者在模型选型时做出更理性的判断。
MoE(Mixture-of-Experts,混合专家)稀疏激活大模型,是一类通过”参数总量远大于单次推理激活量”来提升模型容量的一类神经网络设计。判断一个模型是否属于这类架构,最直接的特征就是它会同时给出两个参数量指标:一个是总参数量(Total Params),一个是激活参数量(Activated Params)。
以近期某国产开源大模型推出的预览版本为例,它同时提供了两个规格:
两个版本都支持约 100 万 token(1M)的上下文长度,并采用开源加 API 双通道的获取方式。要理解这类模型,需要抓住三个关键词:参数规模、激活参数、上下文长度。
需要澄清的是,这里的”万亿”与”千亿”并非矛盾,而是同一模型的两个侧面。总参数量描述的是模型内部”存储”了多少知识容量,激活参数量描述的是”一次推理实际动用了多少算力”。这种”大容量、低激活”的设计正是 MoE 架构区别于传统稠密(Dense)模型的核心所在。
传统稠密模型遵循一个朴素规律:参数越多,能力越强,但推理成本也近似同比例上升。当参数达到数千亿乃至万亿级别时,训练和推理的算力、显存开销会变得难以承受。
MoE 的价值在于打破”参数规模必然带来线性算力成本”的约束。它让模型可以在保持较低单次计算量的前提下,大幅扩展知识容量。这带来的直接收益有三点:
一个典型的 MoE 模型通常包含以下几个关键部分:
MoE 的路由过程可以用如下伪代码概括(仅为通用示例):
def moe_forward(token, experts, gate, top_k=2):# gate 为每个专家计算该 token 的匹配权重weights = gate(token) # 形状:[专家总数]# 只保留得分最高的 top_k 个专家selected = top_k(weights, k=top_k)# 用选中专家的加权和作为输出,未选中的专家不参与计算output = sum(selected[i].weight * experts[selected[i].id](token)for i in selected)return output
可以看到,尽管专家总数可能上百个,但每个 token 实际只经过 top_k 个专家(如 2 个)的计算,这正是”总参数巨大、激活参数很小”的根源。
至于超长上下文,1M token 大约相当于数十万乃至上百万汉字,或一整部长篇小说、一个中等规模代码仓库的体量。在超长上下文中,注意力机制会承担更大的计算与显存压力,因此这类模型通常在注意力实现上做专门优化,以在扩展上下文长度的同时控制开销。
结合”稀疏激活 + 超长上下文”的特性,这类模型较适合以下场景:
回到定义本身:MoE 稀疏激活大模型,是通过”参数总量远大于激活量”来提升容量、控制算力的一类架构;而超长上下文则拓展了模型单次可读入的信息边界。二者结合,使模型既能承载更大规模的知识,又能在长文档、代码库等长文本任务中游刃有余。理解的关键在于分清”总参数 vs 激活参数””算力 vs 显存””长上下文 vs 检索增强”这几组概念。在选型时,应结合任务对能力、成本、延迟与运维的具体要求综合判断,而非仅凭参数量或上下文数字下结论。