简介:本文围绕“如何部署一套输出速度稳定的大模型推理服务”展开,覆盖部署形态选型、资源规划、环境准备、推理引擎参数配置、网关与流式访问设置、灰度上线、分层验证和故障排查,帮助开发者与运维人员把部署后的单路输出速率控制在预期区间,并兼顾稳定性、安全与成本。
过去几年,大模型行业的竞争焦点主要集中在参数规模、训练算力和评测榜单上;而近一年,输出速度(每秒生成的 token 数)与首字延迟,正被越来越多的厂商当作独立的产品能力来提供,甚至出现了按速度分档收费的服务。与此同时,一个反复被验证的事实是:同一个模型,换一种部署方式,输出速率可能相差十倍以上。这说明在模型能力之外,推理服务的部署与调优本身,已经成为决定用户体验的关键变量。
本文讨论的部署对象,是一套面向线上业务的大模型高速推理服务:对外提供文本生成接口,支持流式返回,并在并发压力下保持稳定的首 token 延迟与单路输出速率。
部署完成后,应达到以下效果:
适用读者:AI 应用开发者、AI 平台与推理平台运维工程师、系统架构师、技术负责人。
部署前应理解的基本背景:应用形态(是否需要流式输出、是否需要多轮上下文)、运行环境(自建加速卡集群、云上容器平台,还是托管推理服务)、网络访问方式(公网、内网或混合)、数据依赖(模型权重存储、上下文缓存、日志与监控)、以及合规要求(数据是否允许出域)。
大模型推理服务的输出速度,直接决定了业务能做到多“实时”。典型场景包括:
部署形态可以归纳为三类,选型时应结合延迟要求、数据合规和团队运维能力综合判断:
| 部署形态 | 典型适用场景 | 优势 | 局限 |
|---|---|---|---|
| 自建推理服务(容器平台 + 加速卡) | 延迟要求苛刻、数据不出域、调用量稳定且较大 | 速度上限由自己掌握,可做深度调优 | 需要资源规划与运维投入,弹性响应慢 |
| 托管推理服务(云上模型服务,含高速档位) | 快速上线、流量波动大、缺乏 GPU 运维经验 | 开箱可用,按需弹性,免去驱动与引擎维护 | 单路速率受服务商档位与配额约束 |
| 混合形态(核心链路自建 + 溢出流量走托管) | 大促、突发热点、多地域接入 | 兼顾稳定与弹性,成本可控 | 需要统一网关做路由与降级 |
以云上部署为例,百度智能云的容器平台、负载均衡、对象存储、监控告警、身份认证等通用云产品,可以分别承载计算、流量入口、权重存储、可观测与安全能力;托管形态的模型服务则适合把非核心链路或峰值流量交给云上承载,自建集群专注守住延迟敏感的主路径。
一条完整的高速推理链路,可以拆解为以下模块:
客户端→ 接入层(负载均衡 / 网关 / 流控)→ 推理服务实例池(推理引擎 + 模型权重 + 键值缓存)→ 依赖层(权重存储 / 缓存 / 消息队列)→ 可观测与安全(日志 / 指标 / 追踪 / 鉴权 / 审计)
| 组件 | 作用 | 部署要点 |
|---|---|---|
| 接入层(负载均衡与网关) | 流量分发、TLS 终止、超时与重试控制、限流、流式响应转发 | 必须支持长连接与流式透传,关闭响应缓冲;健康检查要区分“进程存活”与“模型已加载” |
| 推理服务实例 | 执行预填充与解码,管理批处理与键值缓存 | 单实例的资源边界要清晰,避免多实例争抢同一张加速卡 |
| 模型权重存储 | 提供模型文件的读写 | 优先使用本地高速磁盘做缓存,避免每次扩容都从远端拉取 |
| 缓存与队列 | 前缀结果复用、异步任务解耦 | 明确缓存过期策略,避免无界增长挤占内存 |
| 可观测组件 | 采集指标、汇聚日志、生成链路追踪 | 首 token 延迟、输出速率、队列长度必须单独采集 |
| 安全组件 | 身份认证、权限控制、密钥管理、内容审计 | 密钥不落配置文件明文,访问按最小权限授予 |
需要特别理解的一点是单路速率与整体吞吐的权衡。解码阶段是访存密集型操作,单条请求的速度主要由显存带宽决定;而提高整体吞吐依赖把多条请求合并成一个批次,批越大,单条请求的“排队等待”就越长。因此,面向代码补全这类场景,应以“低延迟小批次”为目标;面向批量生成,则可以接受更大的批次换取吞吐。部署时的资源规格与参数配置,本质上就是在这条曲线上选择工作点。
| 项目 | 评估方法 | 说明 |
|---|---|---|
| 加速卡规格与数量 | 按“模型权重 + 键值缓存 + 激活开销”估算显存,再按并行策略确定卡数 | 显存不足会直接导致缓存命中下降,表现为速度随并发急剧衰减 |
| CPU 与内存 | 按 tokenizer 处理量、请求队列长度、张量并行通信开销估算 | CPU 成为瓶颈时,表现为 GPU 利用率不高但延迟很高 |
| 本地存储 | 至少容纳模型权重并可留出加载临时空间 | 权重加载是扩容慢的主因之一 |
| 网络带宽 | 按权重体积、实例数、跨可用区流量估算 | 跨区拉取权重会显著拉长扩容时间 |
| 并发与峰值 | 用真实请求长度分布(输入 token、输出 token)推算 | 只看平均长度会低估长上下文带来的显存压力 |
容量估算建议采用“基线 + 冗余”的方式:基线按日常峰值配置,预留一定余量应对突发;同时明确弹性扩容的触发指标(如队列等待时长、GPU 利用率)。
环境一致性问题最常见的表现是:测试环境速度达标,生产环境一上线就慢。原因往往不是模型,而是驱动版本、并行配置或网络路径的差异,因此建议把运行时与参数纳入配置管理,做到可追溯。
以下流程按“准备环境 → 构建应用 → 配置参数 → 启动服务 → 开放访问 → 验证结果”的顺序展开,每一步都说明了为什么不能跳过。
第一步:创建资源与规划网络。 先创建计算资源、存储与网络组件,再部署应用。顺序颠倒会导致应用启动后找不到存储或加入不了负载均衡。此阶段应确定实例分布(单可用区还是多可用区)、内部服务发现方式与对外暴露范围。
第二步:准备运行环境与依赖。 构建包含驱动兼容层、推理引擎与依赖库的运行镜像,并推送到镜像仓库。把依赖固化在镜像中,而不是在实例上手工安装,是后续能水平扩容的前提。
第三步:获取并校验模型权重。 将权重下载到本地高速存储,校验完整性后再加载。生产环境建议预置一份本地缓存,避免扩容实例重复走远端存储。
第四步:配置推理服务参数。 按业务目标选择工作点:延迟敏感则减小批次规模、限制上下文长度;吞吐优先则提高最大并发与批处理预算。参数变更必须留痕,便于回滚与对比。
第五步:启动与预热。 服务启动后先做一次自检推理(固定 prompt),确认权重加载成功、输出正常。首次请求往往需要额外编译与缓存分配,预热可以防止把冷启动延迟算进用户请求。
第六步:接入网关与访问控制。 配置负载均衡健康检查、超时时间、流式透传、限流阈值与身份认证。流式场景下要关闭中间层的响应缓冲,否则客户端会“等到全部生成完才收到内容”,看起来像速度慢。
第七步:接入可观测性。 采集实例级指标(利用率、显存、队列长度)与请求级指标(首 token 延迟、输出速率、错误码分布),配置告警规则。
第八步:灰度发布与流量切换。 先放量到小比例流量,观察速率与错误率,再逐步扩大。切换过程中保留旧版本实例,确保随时可以回切。
下表列出通用配置维度及其作用与风险。不同推理引擎的具体参数名可能不同,请以所用引擎的官方文档为准,本文只描述语义。
| 配置维度 | 作用 | 调整方向与风险 |
|---|---|---|
| 最大并发序列数 | 决定同时在跑的请求数量 | 提高可提升吞吐,但会拉长单请求等待,首 token 延迟上升 |
| 批处理 token 预算 | 控制单批次的计算量 | 调小有利于低延迟,调大会提升吞吐但抖动增加 |
| 分块预填充块大小 | 把长 prompt 拆成小块与解码混合调度 | 过小增加调度开销,过大阻塞解码,影响输出速率平滑度 |
| 键值缓存显存占比 | 决定能同时保留多少上下文 | 过高会挤占权重空间导致启动失败,过低导致缓存频繁淘汰 |
| 上下文长度上限 | 限制输入与输出总长度 | 上限越大,单请求显存占用越高,并发能力下降 |
| 权重与缓存精度 | 量化精度影响显存占用与计算效率 | 低精度可提速,但需验证输出质量是否可接受 |
| 前缀缓存复用 | 命中相同前缀时跳过重复计算 | 对多轮对话、固定系统提示收益明显,需设置合理过期时间 |
| 并行策略(张量并行/流水并行) | 把模型切分到多卡 | 并行度过高会引入通信开销,单请求速度反而下降 |
| 网关超时与重试 | 控制长请求与失败重试 | 超时过短会误杀长输出;重试无退避会引发重试风暴 |
| 限流阈值 | 保护后端不被打满 | 阈值过低误伤正常流量,过高则雪崩 |
调参的基本方法是先定位瓶颈,再改参数:观察加速卡利用率高但吞吐低,通常是批处理不足;利用率不高但延迟高,通常是 CPU、存储或网络瓶颈;显存接近上限且速度随并发衰减,通常是缓存淘汰。
以下为通用示意,不含任何特定平台的专有命令。
推理服务启动参数(语义化示意):
推理服务启动:模型路径 = <本地权重目录>最大并发序列数 = 64批处理 token 预算 = 8192键值缓存显存占比 = 0.85上下文长度上限 = 32768分块预填充块大小 = 512服务端口 = <内部端口>健康检查路径 = <健康检查接口>
容器化部署清单(通用示意,不含具体平台字段):
apiVersion: apps/v1kind: Deploymentmetadata:name: llm-inferencespec:replicas: 3strategy:rollingUpdate:maxUnavailable: 0 # 滚动更新不掉容量template:spec:containers:- name: inferenceimage: <镜像仓库地址>/<推理镜像>:<固定版本标签>resources:limits:<加速卡资源名>: 1readinessProbe: # 模型加载完成后才接流量httpGet: { path: <就绪探针路径>, port: <内部端口> }initialDelaySeconds: 120env:- name: MODEL_PATHvalue: <本地权重目录>
客户端流式调用与限速退避(伪代码):
resp = http_post_stream(url=API_ENDPOINT,headers={"Authorization": f"Bearer {TOKEN}"},json={"prompt": prompt,"stream": True,"max_output_tokens": 1024,},timeout=(连接超时, 首字超时),)start = monotonic()first = Nonetokens = 0for chunk in resp.iter_lines():if not chunk:continuetext = parse_chunk(chunk) # 流式数据分片解析if first is None:first = monotonic()record("ttft_ms", (first - start) * 1000)tokens += count_tokens(text)yield textrecord("output_tokens_per_second", tokens / (monotonic() - first))
并发压测脚本(伪代码):
for concurrency in [1, 4, 16, 64, 128]:with load_generator(concurrency=concurrency, duration="10m") as gen:gen.send(sample_requests) # 按真实长度分布抽样stats = gen.summary() # P50/P95/P99 首字延迟与输出速率compare_against_slo(stats)
上线验证应分层进行,任何一层失败都不应放量。
建议的验收指标示例(具体阈值应按业务确定):
| 指标 | 采集位置 | 说明 |
|---|---|---|
| 首 token 延迟 P95 | 网关或客户端 | 决定交互体感 |
| 单路输出速率 P50 | 服务端解码统计 | 决定长文本生成体验 |
| 请求错误率 | 网关 | 含超时、限流、后端 5xx |
| 队列等待时长 | 推理服务内部 | 提前发现排队积压 |
| 加速卡利用率与显存占用 | 实例监控 | 判断资源是否为瓶颈 |
| 缓存命中率 | 推理服务内部 | 影响重复请求的成本与速度 |
| 现象 | 可能原因 | 排查思路 |
|---|---|---|
| 吞吐正常但首字很慢 | 批次过大或队列积压,新请求被合并进大批次 | 减小批处理预算,为低延迟流量设置独立队列或独立实例组 |
| 输出速率随并发上升明显下降 | 键值缓存显存不足导致频繁淘汰重算 | 观察显存占用与缓存命中率,下调上下文上限或增加卡数 |
| 服务启动即失败 | 权重与精度配置不匹配、显存估算不足、驱动与计算库版本不一致 | 核对权重校验值、显存预算与运行时版本,先用最小并发启动 |
| 权重加载时间过长,扩容慢 | 远端存储带宽受限 | 预置本地缓存副本,并行下载,预热后加入负载均衡 |
| 流式表现为“整段一次性返回” | 网关或代理开启了响应缓冲 | 关闭缓冲、确认分块传输,绕过网关直连后端对比 |
| 大量超时与 429 | 限流过紧或客户端重试无退避 | 调整阈值,客户端实现指数退避与抖动,区分可重试错误 |
| 运行数小时后变慢 | 缓存碎片、连接未释放、日志写入阻塞 | 观察内存与句柄趋势,配置滚动重启,把日志改为异步落盘 |
| 灰度实例与线上表现不一致 | 配置或镜像版本漂移 | 用配置基线比对,统一版本标签与环境变量 |
排查的通用顺序是:先分清是客户端、网关还是推理层的问题,再用“绕过上层直连后端”的方式逐层收敛,最后结合指标与日志定位到具体参数。
稳定性:配置就绪探针与存活探针分离,确保模型未加载完的实例不接流量;滚动更新时保持最小可用副本数;跨可用区部署并配置健康检查摘流;为长请求设置合理的服务端超时,避免连接堆积。
性能:优先做“少算”——通过前缀缓存复用固定系统提示与多轮上下文,通过合理批处理提高卡利用率;其次做“快算”——评估量化精度、并行策略与缓存精度带来的收益;最后才是加资源。值得强调的是,优化要有对照实验,每次只改一个变量,否则无法归因。
安全:对外接口必须启用身份认证与最小权限访问控制;密钥通过密钥管理服务下发并定期轮换;对输入输出做内容合规检查;传输全程加密;审计日志记录调用主体与用量,便于追溯与成本分摊。
成本:自建部署的成本主要是资源占用,应重点治理闲置实例与过度预留;托管部署的成本与 token 用量和所选性能档位相关,应把高速档位用在真正延迟敏感的链路上,离线任务走普通档位;对象存储的模型权重可配置生命周期策略,清理历史版本。
可维护性:把推理镜像、模型版本与运行参数三者的版本关系记录下来,做到“任一线上问题都能定位到当时的配置组合”;所有变更走配置管理与灰度流程,保留回滚路径。
回滚思路:部署前保留上一版本的镜像标签、配置文件与实例模板;回滚时先摘流再替换实例,确认健康后逐步放量;数据类依赖(如缓存)要做兼容处理,避免新版本写入的数据结构导致旧版本解析失败。
大模型推理服务的竞争,已经从“模型能做到什么”延伸到“模型跑起来有多快”。而输出速度在很大程度上不是模型属性,而是部署方案与调优水平的产物——同一模型在不同部署条件下速度差异巨大,这正是部署工程的价值所在。
回顾本文的关键路径:明确部署目标与形态 → 按显存、并发和真实请求分布规划资源 → 固化运行时与配置保证环境一致 → 按引擎参数选择延迟与吞吐的工作点 → 通过网关、探针和可观测性建立运行保障 → 用分层验证与压测确认达标 → 灰度放量并保留回滚能力 → 上线后从稳定性、性能、安全、成本四个维度持续运维。
落地时建议从一个小规模、指标齐全的环境开始,先把“首 token 延迟”和“单路输出速率”两个指标稳定下来,再逐步扩大并发与规模。需要云上承载部分或全部推理链路时,可以结合百度智能云的容器平台、负载均衡、对象存储、监控告警、身份认证等通用云产品能力,以及托管的模型推理服务,构建兼顾速度、弹性与成本的部署架构。