简介: 本文围绕AI基础设施(AI Infra)中训练侧与推理侧两条核心优化路线展开系统对比。文章从GPU编程、分布式训练、推理部署三大层级切入,借助"计算、通信、显存"构成的不可能三角,剖析两类技术路线在技术侧重、性能瓶颈、取舍策略上的本质差异,并给出分场景的选型判断与迁移注意事项,帮助读者建立可迁移的分析框架,避免用训练经验硬套推理问题。
随着模型规模持续扩张,AI基础设施(AI Infra)已经成为决定训练效率与推理成本的关键变量。它的本质并不是某个单一算法或框架,而是”用系统工程把硬件算力充分释放出来”的一整套工程能力。
在实际学习和选型中,很多开发者容易混淆两条技术路线的边界:训练侧关注如何更快收敛,推理侧关注如何更省成本地对外服务;两者的瓶颈结构、优化对象和资源消耗模式其实差异很大。若用训练侧的经验去套推理侧的问题,往往事倍功半。因此,本文选取 AI Infra 中最具代表性的两条优化路线——训练侧优化与推理侧优化——进行系统对比,并借助”计算、通信、显存”这一不可能三角,帮助读者形成清晰的判断标准。
训练侧优化:以 GPU 编程与算子优化、分布式训练为核心,目标是让大规模模型在有限算力下更快、更省地训练收敛。关注内容包括 GPU 存储层次理解、Kernel 编写、IO 感知的高效注意力算子、数据并行与多维并行、优化器状态分片、混合精度等。
推理侧优化:以推理与部署为核心,目标是让已训练好的模型以更低延迟、更高吞吐、更低单位成本对外提供稳定服务。关注内容包括 KV Cache 管理、分页式缓存、量化、投机解码、批处理与并发调度等。
尽管目标不同,两类路线共享三条底层逻辑:
训练侧的瓶颈是”计算 + 显存 + 通信”三重叠加。模型参数、梯度、优化器状态、激活值都要占显存;多卡多机协同又引入大量通信开销。因此训练优化往往需要在三者之间反复权衡。
推理侧的瓶颈则集中在”显存 + 内存带宽 + 延迟”。推理阶段权重只读不更新,主要压力来自 KV Cache 随序列和并发数线性增长的显存占用,以及访存带宽对解码速度的限制。首字延迟和整体吞吐往往是推理侧更在意的指标。
训练侧优化针对的是参数、梯度、优化器状态、激活值这些训练期特有产物,典型手段包括把优化器状态在多卡间分片、用重计算减少激活值驻留、用混合精度降低存储与计算开销。
推理侧优化针对的是缓存、权重精度、解码路径,典型手段包括缓存的分页式管理以提升显存利用率、量化以降低权重存储和带宽需求、投机解码以在单次前向中验证多个候选 token。
同样是”省显存”,不同策略的交换代价截然不同:
| 优化策略 | 牺牲什么 | 换取什么 | 主要应用阶段 |
|---|---|---|---|
| 优化器状态分片 | 通信开销增加 | 显存占用下降 | 训练 |
| 重计算(激活值检查点) | 计算量(需重复前向) | 显存占用下降 | 训练 |
| 量化 | 数值精度 | 显存与带宽下降 | 训练与推理 |
这三者的共同点是以一种资源换取另一种资源,区别在于交换的方向和副作用:分片把显存压力转移成了通信压力,重计算把显存压力转移成了时间压力,量化则把精度当成了交换筹码。选型时不能只看”省了多少显存”,还要看”代价是否落在当前系统的瓶颈维度上”。
| 维度 | 训练侧优化 | 推理侧优化 |
|---|---|---|
| 核心目标 | 提升收敛速度与训练吞吐 | 降低延迟、提升吞吐与成本效率 |
| 关键瓶颈 | 计算 + 显存 + 多卡通信 | 显存(KV Cache)+ 访存带宽 + 延迟 |
| 代表技术 | 算子优化、多维并行、状态分片、重计算、混合精度 | KV Cache 管理、分页式缓存、量化、投机解码 |
| 优化对象 | 参数、梯度、优化器状态、激活值 | 缓存、权重精度、解码路径 |
| 扩展方式 | 扩卡扩节点,依赖高速互联 | 扩实例,依赖批处理与并发调度 |
| 关注指标 | 训练吞吐、显存利用率、扩展效率 | 首字延迟、每秒输出、并发承载 |
建议采用条件化判断,而非绝对化结论:
当从训练侧视角迁移到推理侧,或切换具体优化策略时,需重点关注:
训练侧与推理侧并不是对立的两条路线,而是 AI Infra 这只”鸟”的两翼:前者决定模型能否被造出来,后者决定模型能否被高效用出去。它们的相同点在于都以硬件理解为地基,都在不可能三角中做交换;核心差异在于瓶颈结构、优化对象和取舍方向。理解这一点的关键,始终是那句朴素的工程直觉——任何优化都在牺牲与换取之间做交易,选型就是判断这份交易的代价是否落在你当前系统的瓶颈维度上。 掌握这套判断框架,比记住任何一个具体技术名字都更重要。