简介:本文面向轻量MoE推理服务的首次上线,讲清门控路由与注意力的区别,给出模型包目录、运行环境、启动与健康检查命令,以及灰度发布、P99与错误率回滚阈值。读完可按清单完成部署,并能快速定位专家加载失败、路由热点和显存不足问题。
本文适合在单机或少量节点上首次上线轻量MoE(Mixture of Experts,混合专家)模型推理服务。服务总参数量通常在几十亿到几百亿之间,单次请求只激活少量专家。如果需要多租户调度、跨地域容灾或超大规模专家并行,需要另行设计,本文不展开。
文中的命令、路径和配置均为示例。moe_server 是示意入口,请替换为你们推理框架实际使用的启动命令。模型规模、显存和并发目标不同,参数也需要重新估算。
很多人把MoE中的路由和注意力机制混为一谈。两者职责不同。
注意力机制位于Transformer的骨干层中,负责让每个token结合上下文计算表示。路由(门控网络,gating network)是一个小型线性层加softmax,它根据当前token的隐状态给每个专家打分,然后选出得分最高的Top-k个专家(常见取值为1到8),由这些专家的输出加权求和。路由不做注意力计算,也不决定上下文如何交互。
这个区别影响排查方向。路由异常表现为专家激活分布不均、某些专家过载;注意力相关问题则表现为上下文理解变差,通常要回到模型版本和权重文件去查。
| 组件 | 主要职责 | 关键指标 | 故障影响 | 排查入口 |
|---|---|---|---|---|
| 接入层 | 认证、限流、转发 | 请求数、拒绝数、P99 | 请求被拒或超时 | 网关日志、白名单 |
| 路由层 | Top-k门控选择专家 | 专家激活分布、激活数量 | 专家过载、质量波动 | 路由命中指标 |
| 专家执行层 | 计算被激活的专家 | 显存、队列长度、计算耗时 | 延迟升高、OOM | GPU指标、推理日志 |
| 模型存储层 | 权重、专家映射、校验文件 | 校验结果、加载耗时 | 启动失败、版本混用 | 校验日志、加载日志 |
| 配置层 | 路由策略、超时、预加载 | 配置版本号 | 行为与预期不符 | 配置文件与版本记录 |
| 观测与安全层 | 日志、指标、告警、审计 | 采集成功率 | 故障发现滞后 | 监控面板、审计日志 |
MoE的显存规划容易低估。推理时每个专家的权重都要驻留在显存或内存中,即使单次只激活少数专家。因此显存估算应按总参数量计算,而不是只看激活参数。
粗略估算公式如下:
以总参数量30B、BF16为例,仅权重约需60GB显存。如果单卡放不下,需要多卡切分或降低精度,二者都要在上线前验证质量。
部署前请核对以下检查项:
建议采用固定目录结构,方便校验和回滚:
/opt/moe-serving/├── models/│ ├── moe-lite-v1.2.0/│ │ ├── VERSION│ │ ├── config.json│ │ ├── tokenizer/│ │ ├── router/router_weights.safetensors│ │ ├── experts/expert_map.json│ │ ├── experts/shard-00.safetensors│ │ ├── experts/shard-01.safetensors│ │ └── checksums.sha256│ └── current -> moe-lite-v1.2.0├── configs/│ └── service.yaml├── logs/├── backup/├── requirements.lock└── venv/
专家映射文件记录每层每个专家对应的权重分片,示例如下:
{"layer_0": {"expert_0": "shard-00.safetensors","expert_1": "shard-00.safetensors","expert_2": "shard-01.safetensors"}}
运行环境要锁定版本。下列版本仅作示例,请以模型卡要求为准:
创建环境并校验模型包:
python3 -m venv /opt/moe-serving/venv/opt/moe-serving/venv/bin/pip install -r /opt/moe-serving/requirements.lockcd /opt/moe-serving/models/moe-lite-v1.2.0 && sha256sum -c checksums.sha256
只要有一个文件校验失败,就停止上线,不要手工修改文件后继续。
设置权限,服务账号只读模型文件,配置文件不对外可读:
useradd --system --no-create-home moechown -R root:moe /opt/moe-serving/modelschmod -R 750 /opt/moe-serving/modelschown -R moe:moe /opt/moe-serving/logs /opt/moe-serving/backupchmod 640 /opt/moe-serving/configs/service.yaml
服务配置示例:
service:name: moe-inferencelisten_host: 127.0.0.1listen_port: 8080model:version: moe-lite-v1.2.0path: /opt/moe-serving/models/currentexpert_map: experts/expert_map.jsonrouter:strategy: topk_gatingtop_k: 2min_active_experts: 2max_active_experts: 4fallback: shared_expertruntime:dtype: bfloat16preload_experts: falsemax_concurrency: 16request_timeout_ms: 30000gpu_memory_utilization: 0.85observability:access_log: truemetrics_port: 9090
以下参数必须按模型规模调整:top_k 与激活专家上下限、dtype、max_concurrency、gpu_memory_utilization、preload_experts。修改后要重新测试质量,不能只看能否启动。
| 步骤 | 操作 | 验证结果 | 失败时的动作 |
|---|---|---|---|
| 1 | 创建目录、用户和权限 | 目录存在,服务账号可读模型 | 修正权限,不放宽到777 |
| 2 | 安装锁定版本的依赖 | pip check 无冲突 |
回到requirements.lock排查 |
| 3 | 上传模型包并校验 | sha256sum -c 全部OK |
停止上线,重新上传 |
| 4 | 写入配置并记录版本号 | 配置中的model.version与目录一致 | 修正配置,不混用版本 |
| 5 | 启动单实例 | 进程存活,日志出现加载完成 | 查看第七节的专家加载排查 |
| 6 | 健康检查与冒烟推理 | 健康接口返回200,推理结果结构正确 | 检查路由和专家映射 |
| 7 | 灰度5%流量,观察30分钟 | 错误率、P99、队列长度在阈值内 | 按第六节回滚 |
启动单实例:
/opt/moe-serving/venv/bin/python -m moe_server \--config /opt/moe-serving/configs/service.yaml
若使用systemd,可执行 systemctl start moe-inference 并查看 journalctl -u moe-inference -n 200。
健康检查:
curl -fsS http://127.0.0.1:8080/healthz
期望返回HTTP 200,响应体包含 "status":"ok" 和当前模型版本号。若返回503,通常是模型尚未加载完成或专家加载失败。
冒烟推理:
curl -sS -X POST http://127.0.0.1:8080/v1/generate \-H "Content-Type: application/json" \-d '{"prompt":"请用一句话介绍MoE","max_tokens":64}'
期望返回200且包含非空文本字段。
指标口径:
request_errors_total 增量 ÷ request_total 增量queue_length 的5分钟平均值回滚判定:满足以下任一条件,且持续达到对应时长,就回滚。
max_concurrency 的2倍,持续3分钟回滚命令(以切换符号链接为例):
ln -sfn /opt/moe-serving/models/moe-lite-v1.1.0 /opt/moe-serving/models/currentsystemctl restart moe-inferencecurl -fsS http://127.0.0.1:8080/healthz
回滚后要核对健康接口返回的版本号是否为旧版本。同时把网关流量权重切回旧实例,再隔离异常实例保留日志。不要在未核对版本的情况下直接删除新版本文件,便于事后分析。
按顺序检查:
sha256sum -c checksums.sha256,确认分片没有损坏expert_map.json 中引用的分片文件名与目录中的文件完全一致,注意大小写df -h 确认磁盘空间充足,加载期间临时文件也会占用空间expert,定位第一条报错,后续报错多为连锁反应当某个专家的激活偏斜持续超过3倍时,说明路由出现热点。
显存不足时不要靠反复重启或等待OOM恢复。按以下顺序降级,每一步都要记录并验证效果:
max_concurrency,先减少KV缓存占用preload_experts,改为按需加载,降低常驻显存gpu_memory_utilization 留出碎片余量max_active_experts,会降低计算量,但可能影响生成质量,必须用固定评测集比对以下阈值是起点,应结合业务SLA和基线压测结果调整。
| 指标 | 初始阈值 | 持续时间 | 调整方法 |
|---|---|---|---|
| 错误率 | 超过1% | 5分钟 | 业务容忍度高可放宽到2% |
| P99延迟 | 超过2秒 | 10分钟 | 以上线前基线的1.5倍为准 |
| 队列长度 | 超过并发上限的50% | 2分钟 | 流量波动大时延长持续时间 |
| 专家激活偏斜 | 超过3倍 | 15分钟 | 按任务类型分开统计后再设阈值 |
| 显存使用率 | 超过90% | 5分钟 | 留出KV缓存增长空间后再定 |
| 专家加载失败 | 大于0 | 立即 | 不建议放宽 |
告警触发后,先看健康检查和启动日志,再看路由分布和资源指标,最后核对上游调用的超时与重试参数。超时与重试需要与上游保持一致,否则重试会放大流量,使本来可恢复的问题变成雪崩。