简介:本文面向双显卡服务器上的大模型在线推理部署,讲解张量并行切分、卡间互联验证、参数估算、压测记录与运维安全。读者可按清单完成环境准备、启动上线与排障,并结合并发和互联条件判断吞吐、TTFT与尾延迟变化,形成可复用的调优方案。
在双显卡服务器上部署大语言模型在线推理服务,核心不是简单把模型权重放到两张卡上,而是要让模型切分、显存占用、并发调度、卡间通信和安全访问都处于可观测、可复现、可调优的状态。对于希望“怎么部署双卡推理服务”“怎么选张量并行参数”“怎么验证高速互联”的读者来说,这条链路可以拆成五个步骤:环境初始化、拓扑确认、模型加载、参数配置、验证上线。
双卡部署通常用于三类情况:第一,单卡显存不足以承载完整模型权重,需要通过张量并行把模型切分到两张显卡;第二,业务需要较高吞吐,希望同时处理多个并发请求;第三,交互式应用对首 Token 延迟和尾部延迟敏感,需要在有限硬件下尽量降低排队和通信开销。如果采用私有化部署,还应同步考虑鉴权、限流、日志审计和证书管理。
在动手部署前,先确认硬件与业务目标是否匹配。硬件侧重点看三项:显卡数量、单卡显存容量、卡间连接方式。软件侧重点看推理框架是否支持张量并行、连续批处理、高并发调度和指标暴露。业务侧重点看输入输出长度、平均并发、峰值并发、可接受的 TTFT 和 TPOT。
如果是交互式对话场景,应优先关注首 Token 延迟和尾部延迟;如果是离线批处理或内容生成场景,应优先关注整体吞吐。不要一开始就追求极限并发,建议先用小并发验证功能,再逐步提升并发,观察显存、延迟和错误率变化。
安装显卡驱动、计算运行时、加速库和容器运行时。执行设备枚举,确认系统能够同时识别两张显卡,且驱动版本一致。如果系统只能看到一张卡,后续张量并行无法正确生效,应先解决设备识别问题。
拓扑查询的对象不是“有没有两张卡”,而是两张卡之间的链路类型和带宽状态。判定规则如下:若查询结果显示两卡之间是高速互联链路或点对点链路,可视为卡间互联生效;若显示为通用总线链路,则不能视为高速互联生效。此时应记录链路类型、带宽和拓扑信息,并优先排查物理连接、驱动版本、容器设备挂载和固件配置。
| 查询结果 | 是否视为生效 | 建议动作 |
|---|---|---|
| 高速互联链路 | 是 | 记录链路类型与带宽,继续压测 |
| 点对点链路 | 是 | 记录链路状态,确认驱动和容器权限 |
| 通用总线链路 | 否 | 记录并排查物理连接、驱动、固件 |
| 链路类型不明或带宽异常 | 先不作为生效 | 收集拓扑输出,检查设备识别与驱动一致性 |
如果业务对延迟敏感,这一步不能跳过。通用总线链路并不必然无法运行,但在高并发下更容易出现请求排队、单请求延迟上升和尾部延迟恶化。
在隔离环境中安装支持张量并行的推理服务框架及其依赖。模型权重、分词器和配置文件建议以只读方式挂载,避免误修改。模型文件体积较大时,可优先考虑本地磁盘或高性能对象存储挂载,并关注加载时间和存储带宽。
启动参数至少包括:张量并行度、最大上下文长度、显存占用上限、最大并发序列数、监听端口和鉴权开关。张量并行度应设置为显卡数量,本场景为 2。如果设置错误,可能出现只使用单卡、加载失败或显存占用异常。
通过反向代理或负载均衡暴露接口,配置鉴权、访问白名单、限流和传输加密。上线前建议先做小规模内网验证,再逐步开放给业务调用方。
参数配置不能凭感觉,建议按以下口径估算。
显存占用上限控制框架预分配的显存比例。建议从 0.80 到 0.90 之间开始测试。若启动时出现显存溢出,先下调到 0.80 或 0.75;若长期显存占用不足且并发不高,再逐步上调。需要为 CUDA 上下文、通信缓冲、激活值和 KV Cache 预留空间。
权重显存可根据参数量和精度估算。以 FP16 为例,通常每 10 亿参数约需 2 GB 显存。若模型为 270 亿参数,FP16 权重约需 50 GB 以上。若使用 INT8 或 FP8,显存占用可能下降,但仍需结合框架支持情况测试。双卡张量并行可以把部分权重切分到两张卡,但不是所有显存都可以简单均摊,仍需预留通信与缓存开销。
最大上下文长度应按业务实际输入和输出长度设置。建议统计业务平均输入长度、平均输出长度和 P95 长度,再预留 10% 到 20% 余量。如果业务平均输入为 300 Token、输出为 300 Token,可以先用 1024 或 2048 做验证,而不是直接拉满模型支持上限。
最大并发序列数会影响吞吐和单请求延迟。估算口径可参考:最大并发序列数约等于可用显存减去权重显存和安全余量后,再除以平均序列长度下每请求的 KV Cache 与激活显存。若无法准确计算,可采用压测逼近法:从较低并发开始,每次增加 16 或 32 路,观察显存峰值、错误率、TTFT 和 P99 延迟,直到达到可接受上限。
| 参数 | 主要影响 | 调整建议 |
|---|---|---|
| 张量并行度 | 模型能否切分到双卡 | 设为显卡数量,本场景为 2 |
| 显存占用上限 | 显存预分配和稳定性 | 建议从 0.80 到 0.90 测试 |
| 最大上下文长度 | 单请求显存与延迟 | 按业务 P95 长度设置 |
| 最大并发序列数 | 吞吐与排队延迟 | 从低并发逐步提升 |
以下为通用逻辑示意,不包含特定品牌或专有命令:
启动推理服务(模型路径 = 模型挂载目录,张量并行度 = 2,显存占用上限 = 0.85,最大上下文长度 = 4096,最大并发序列数 = 128,监听端口 = 8080,启用鉴权 = true)
实际使用时,最大上下文长度和最大并发序列数应根据显存余量、业务输入输出长度和压测结果调整。如果压测中出现显存溢出,优先降低最大上下文长度或最大并发序列数;如果延迟偏高,检查张量并行度、互联拓扑和批处理调度是否异常。
功能验证先确保服务可用。建议执行以下检查:
压测数字必须说明测试条件,否则容易误读为通用承诺。建议在参考任何基线前先记录:模型参数量、精度、显卡型号、互联类型、推理框架、输入输出长度、并发分布、预热时间和采样次数。
例如,某测试条件为:270 亿参数模型、FP16 精度、双显卡服务器、通用总线链路、支持连续批处理的推理框架、输入约 256 Token、输出约 256 Token、并发 1 和 4、预热 30 秒、每档采样 100 次。该条件下单发输出吞吐约为 40 tok/s,首 Token 延迟均值约为 1.2 秒;当并发提升到 4 路时,输出吞吐约为 105 tok/s。若模型、精度、显卡型号、互联类型、框架、输入输出长度或采样方式变化,结果会明显不同。
建议使用如下压测记录表:
| 互联类型 | 并发数 | TTFT均值 | TTFT P99 | TPOT | 输出吞吐 | 总吞吐 | 错误率 | 显存峰值 |
|---|---|---|---|---|---|---|---|---|
| 通用总线 | 1 | 待填 | 待填 | 待填 | 待填 | 待填 | 待填 | 待填 |
| 通用总线 | 4 | 待填 | 待填 | 待填 | 待填 | 待填 | 待填 | 待填 |
| 高速互联 | 1 | 待填 | 待填 | 待填 | 待填 | 待填 | 待填 | 待填 |
| 高速互联 | 4 | 待填 | 待填 | 待填 | 待填 | 待填 | 待填 | 待填 |
在类似测试条件下,从单发提升到 4 路并发,整体吞吐通常会有明显提升,但每 Token 生成延迟也会增加。也就是说,并发度是吞吐提升的重要抓手,但交互式应用需要同时关注单请求响应速度。
卡间高速互联的价值在低并发下可能不如高并发明显。在单发场景中,互联差异对整体延迟的影响相对有限;而在高并发场景下,如果链路成为瓶颈,请求排队和尾部延迟会更容易暴露。因此,对于延迟敏感的在线对话服务,应优先确认互联拓扑,确保不是运行在受限的通用总线链路上。
更稳妥的表述是:在满足互联生效、驱动一致、显存充足、批处理调度正常的前提下,高速互联可能在高并发场景中改善吞吐、首 Token 延迟和尾部延迟。是否最终生效,需要结合本环境的压测数据判断。
优先检查设备枚举是否正常,再检查驱动版本是否一致,随后检查容器是否正确挂载设备,最后确认张量并行度是否设置为显卡数量。
先查看两卡间链路类型。若显示为通用总线,记录拓扑输出,并检查物理连接、驱动、固件和容器权限。若链路显示为高速互联或点对点,但性能仍异常,再检查带宽、显存峰值、批处理参数和请求排队情况。
显存溢出通常与上下文过长、并发过高或显存占用比例设置过高有关。建议按以下顺序处理:降低最大上下文长度,降低最大并发序列数,下调显存占用上限,然后重新压测。
不要一开始就设置过高。建议从 1 并发开始,逐步提升到 4、8、16,观察吞吐、TTFT、TPOT、P99 和显存峰值。若吞吐增长趋缓而延迟明显上升,说明已接近当前配置上限。
先确认卡间互联是否生效,再检查批处理参数、请求队列长度和是否存在排队积压。若单发延迟也偏高,需检查模型加载、显存带宽和调度配置。
通常与高并发排队、批处理调度、超时重试和限流策略有关。建议设置合理并发上限、请求超时、有限重试和过载保护,避免故障请求无限堆积。
上线不是终点。建议建立以下运维机制:
安全控制方面,除基础鉴权和传输加密外,还应增加以下触发项:
双卡大模型推理部署的关键可以归纳为三步:第一,确认张量并行正确切分并识别双卡;第二,确认卡间链路是否为高速互联或点对点链路,若是通用总线链路必须记录并排查;第三,通过分档并发压测记录自己的测试条件,找到吞吐与延迟的平衡点。只有在模型、精度、显卡、互联类型、框架、输入输出长度、并发分布和采样方式都写清楚后,性能数字才有参考价值。上线后,还应围绕监控告警、稳定性保障、安全控制和成本管理建立持续运维机制,使推理服务在真实负载下稳定、高效、可控。