简介：本文系统阐述混合专家（MoE）架构下权重分层部署的技术定义、核心原理与显存需求变化。读者将了解MoE模型如何通过专家权重卸载至内存或SSD降低单用户推理的显存门槛，掌握dense层与稀疏专家层的访问特征差异、热门专家动态加载策略，以及该方案在prefill、并发等场景下的实际性能边界与选型注意事项。
混合专家（Mixture of Experts，简称 MoE）是一种稀疏激活的大模型架构范式。在 MoE 模型中，除了常规的注意力层与前馈网络层之外，还包含大量”专家”子网络。对于每一个输入 token，路由网络（Router）仅从中激活少数几个专家参与计算，其余专家处于闲置状态。
权重分层部署，是指利用 MoE 架构”部分权重在推理时不被激活”这一特性，将不同类型的模型权重按照访问频率、数据体积和带宽敏感性进行分级，分别放置在显存（GPU HBM）、系统内存（RAM）乃至固态存储（SSD）中的一种部署策略。其核心定义可概括为：
基于 MoE 稀疏激活特性，将模型权重按”每 token 实际读取量”与”静态存储占比”两个维度进行分层，使显存仅承载高频访问的关键权重，从而在硬件资源受限条件下实现大模型的本地或边缘推理。
从技术视角看，这是一种”以时间换空间”的部署策略——通过降低显存容量要求，换取一定程度的推理延迟增加。从使用视角看，它使得单张消费级或中端显卡有机会运行参数量远超显存容量的 MoE 大模型。
传统稠密（Dense）模型的参数在推理时全部参与计算，模型权重总量基本等同于显存的最低需求。随着模型参数规模从百亿级迈向千亿乃至万亿级，单卡显存容量成为最直接的部署瓶颈。
MoE 架构通过稀疏激活机制，将模型总参数量与单次推理实际使用的参数量解耦。一个总参数量达数百亿的 MoE 模型，在单次前向传播中可能仅激活其中十分之一甚至更少的参数。这意味着：
正是这种”大文件、小激活”的特征，为权重分层部署提供了理论基础和工程空间。
以典型的大参数 MoE 模型为例，其权重可按访问特征划分为三大类：
包括注意力层权重、共享专家（Shared Expert）权重、输出投影层（Output Head）等。这类权重的特征是：
| 特征 | 说明 |
|---|---|
| 文件占比 | 极小，通常仅占模型文件的个位数百分比 |
| 每 token 读取量 | 很大，几乎每一步推理都需完整读取 |
| 部署要求 | 必须驻留显存，否则每次推理都需跨总线传输，延迟不可接受 |
这类权重虽然”小”，但”热”——它们是推理计算的必经路径，带宽瓶颈直接决定推理速度上限。
这是 MoE 模型中体量最大的部分，通常占模型文件的 50%～60% 以上。其特征是：
| 特征 | 说明 |
|---|---|
| 文件占比 | 极大 |
| 每 token 读取量 | 较小，仅激活其中极少数（如 6/384） |
| 部署策略 | 热门专家驻显存，冷门专家驻内存或 SSD，按需动态交换 |
用于专家路由决策的查找表或索引结构。其特征是：
| 特征 | 说明 |
|---|---|
| 文件占比 | 中等偏大 |
| 每 token 读取量 | 极小，通常仅查几十行，数据量可忽略 |
| 部署要求 | 对延迟不敏感，可放内存甚至 SSD |
权重分层部署的核心判断依据是两个维度的乘积关系：
将两者相乘，可以得到”每 token 的有效 I/O 负担”。负担大的放显存，负担小的可下沉。
热门专家的选取通常基于统计信息：
实践表明，基于统计的静态放置策略通常优于推理时动态按需填充或纯 LRU 策略，后者会引入额外调度开销。
以某 32 GB 显存配置为例，假设：
粗略估算：若全部专家权重需经总线从内存读取，延迟可达数十毫秒量级；而显存内的 dense 部分与热门专家可在数毫秒内完成读取。综合来看，单用户 decode 场景下可达到 18～27 token/s 的速度，其中高出理论带宽上限的部分来自显存命中和推测解码等优化。
| 场景 | 适用性说明 |
|---|---|
| 个人开发者本地推理 | 消费级显卡 + 大内存，运行中大规模 MoE 模型进行实验或轻量应用 |
| 边缘设备推理 | 显存有限的边缘节点，利用内存扩展能力运行模型 |
| 低并发在线服务 | 单用户或少量用户的 API 服务，对延迟容忍度较高 |
| 研究与评测 | 快速验证不同 MoE 模型的性能特征，无需多卡集群 |
模型量化是通过降低权重精度（如从 16 位降至 4 位）来压缩显存占用，属于”压缩”思路。权重分层部署则是”搬移”思路——不改变精度，而是改变权重的物理存放位置。两者可以组合使用。
全量显存部署将所有模型权重放入显存，消除了跨总线传输的瓶颈，但要求多卡或高端显卡。权重分层部署则以增加一定延迟为代价，换取更低的硬件门槛。
分布式推理将模型切分到多张显卡上并行计算，侧重于横向扩展算力。权重分层部署侧重于纵向利用单机的多级存储层次，两者解决的问题不同。
prefill 阶段影响显著：权重卸载主要影响的是单用户 decode 阶段。在长提示词的 prefill 阶段，由于需要大量顺序读取权重，内存与 SSD 的带宽瓶颈会导致明显的性能下降，SSD 与大内存之间的差距可达数十个百分点。
多卡部署时瓶颈转移：当权重全部放入显存后，推理瓶颈往往不再是显存带宽，而是跨卡通信、小算子调度（如路由计算、Top-K 选择、索引查找等）的运行时开销。实测中，多卡全显存配置的实际吞吐量可能远低于理论带宽上限。
热门专家命中率依赖工作负载：如果用户请求的主题分布分散、专家选择高度随机，热门专家的命中率会下降，导致频繁从内存读取，性能劣化明显。
SSD 读写寿命与系统稳定性：将大量权重放在 SSD 上时，需关注 SSD 的读写寿命和随机读取性能，建议使用高耐久、高随机读性能的存储设备。
软件栈支持：并非所有推理框架都原生支持灵活的权重分层配置，需要确认所使用的推理运行时是否提供显存/内存/SSD 的分级加载接口。
MoE 架构下的权重分层部署，本质上是一种利用稀疏激活特性、将模型权重按访问热度与体积分级存放到显存、内存和 SSD 中的部署技术。它有效降低了单用户推理的显存门槛，使得中端硬件也有机会运行大参数 MoE 模型。然而，它并非”免费的午餐”——prefill 性能下降、热门专家命中率波动、多卡场景下的运行时瓶颈等问题都需要在选型和调优时充分考量。理解”dense 必驻显存、专家按热分级、索引可下沉”这一核心原则，是正确使用该技术的关键。