简介:本文面向开发者与运维人员,讲解350亿总参数、30亿激活参数的稀疏MoE模型如何在本地或云端部署。文中给出不同精度下的显存核算方法、可复现的启动步骤、性能压测口径、显存不足时的排查顺序,以及回滚与成本控制要点,帮助读者在有限算力下稳定上线服务。
稀疏激活能降低每个token的计算量,但不能降低权重占用。每次推理只激活约30亿参数,因此单token的计算量接近一个30亿参数的稠密模型。可是所有专家的权重都必须驻留在显存或内存中,否则无法路由到任意专家。部署前要按总参数量估算,而不是按激活参数量估算。
权重显存可以用一个简单公式估算:参数量 × 每参数字节数。以350亿参数为例:
| 权重精度 | 权重估算 | 24GB单卡 | 48GB单卡 | 2×24GB双卡 |
|---|---|---|---|---|
| BF16/FP16(2字节) | 约70GB | 不可行 | 不可行 | 不可行,需卸载或更多卡 |
| FP8/INT8(1字节) | 约35GB | 不可行 | 可行,KV缓存空间有限 | 可行,适合中等并发 |
| INT4(约0.5字节) | 约18至20GB | 边界可行,仅适合低并发短上下文 | 可行,余量充足 | 可行 |
这里的数字只是权重本身。KV缓存、激活值、框架运行时缓冲区还要额外占用显存,通常需要预留10%至20%的余量。24GB显卡的可用显存也小于标称值,驱动和运行时会占用一部分。因此,24GB单卡只适合INT4量化、较小的上下文长度和很低的并发数。
如果使用专家卸载,即把部分专家权重放到系统内存,显存压力会下降,但每次路由到被卸载专家时都要经过PCIe搬运,首token延迟和吞吐都会变差。系统内存也要足够容纳被卸载的权重。以FP16计算,70GB的权重无法放进64GB内存,因此卸载方案至少需要量化后的权重。
推理运行时决定了模型能否按预期加载和服务。选型时可以逐项核对以下条件:
常见的开源运行时包括vLLM、SGLang和llama.cpp等。它们对新架构的支持进度不同,应以模型发布说明和运行时的版本说明为准,不能仅凭名称判断。
从模型托管平台下载权重与配置文件,并核对每个分片的SHA256校验值。分片文件不完整时,加载阶段常常只在中途报错,排查成本较高,因此下载后应先校验再加载。
以vLLM为例,启动命令模板如下。其中路径、量化方式和并行参数需要按发布说明替换:
export VLLM_API_KEY="$(cat /run/secrets/moe_api_key)"vllm serve /data/model/weights \--served-model-name moe-35b \--quantization <按发布说明填写,如 fp8 或 awq> \--tensor-parallel-size 2 \--max-model-len 16384 \--max-num-seqs 8 \--gpu-memory-utilization 0.85 \--host 127.0.0.1 \--port 8000
参数说明:
--tensor-parallel-size:卡数不足以放下全部权重时,设置为实际使用的GPU数量。--max-model-len:单请求允许的最大上下文长度。该值越大,KV缓存占用越高。--max-num-seqs:同时处理的最大序列数,是控制并发和显存峰值的主要参数。--gpu-memory-utilization:运行时可使用的显存比例。设为0.85左右可为激活值保留余量。--host 127.0.0.1:先只监听本机,待鉴权和网关就绪后再对外开放。启动后需确认:日志中权重加载完成、没有缺失分片的警告、路由相关模块初始化无报错,然后预热一次短文本生成。
健康检查接口应返回模型状态和加载完成标志。本机调用推理接口时,检查返回的HTTP状态码、choices字段结构和finish_reason是否符合预期。
模型支持思考模式与非思考模式。思考模式会输出中间推理过程,适合多步骤代码任务。非思考模式延迟低、token消耗少,适合简单问答。具体的开关字段名由运行时和模板决定,以下是一种常见写法,需要按发布说明确认:
{"model": "moe-35b","messages": [{"role": "user", "content": "把这段代码改成异步写法"}],"max_tokens": 1024,"chat_template_kwargs": {"enable_thinking": true}}
历史思维保留是另一项需要单独配置的功能。开启后,请求的消息历史中会保留之前每一轮的思维链。它的代价包括两点:
建议的策略如下:
false。性能数字只有在说明测试条件时才有参考价值。压测应固定以下条件并记录在报告中:
--max-num-seqs的取值;主要指标的口径如下:
通过阈值应由业务方在压测前确定。以下是一个示例,不是通用标准:在并发4、输入512、输出256的条件下,P95 TTFT不超过2秒,错误率低于0.5%,GPU显存峰值不超过总量的90%。
接入编程助手或智能体框架前,应用固定的请求样例做断言测试。以下断言可以作为基线:
choices[0].message.content非空,finish_reason为stop或length。tool_calls字段,参数能被JSON解析。content数组中包含type: image_url的条目。若服务未启用视觉模块,应返回明确的错误码,而不是空响应。max-model-len的请求返回明确的4xx错误,而不是进程崩溃。显存不足时,应先做成本最低的调整,再考虑精度和硬件代价。推荐的顺序如下:
--max-num-seqs和--max-model-len,同时在网关层设置最大输出token数。这一步不影响输出质量。--gpu-memory-utilization,并在网关层设置请求排队上限。超出上限时返回429,而不是让进程崩溃。不建议在第一步就升级实例。很多显存问题来自并发和上下文设置过高,升级后问题会再次出现。
部署新版本前,保留旧版本的权重、配置和运行时版本的快照。新实例完成加载并通过健康检查和兼容性断言后,再切换网关流量。发现严重异常时,把网关指回旧实例即可完成回滚。切换前应确认回滚路径可用,并且旧实例仍保留足够的资源。
成本可以按下面的公式估算:每百万输出token成本 = 实例每小时单价 ÷ 每小时输出token数 × 1,000,000。其中每小时输出token数取自压测得到的吞吐。这个数字会随并发和输出长度变化,因此应在典型业务负载下测量,而不是只看峰值。
上线前逐项确认以下内容:
完成这些检查后,再逐步放量,并在每个阶段对比延迟、错误率和成本,确认服务稳定后再全量切换。