简介：本文从深度学习服务器的GPU选型角度出发，结合大模型推理实测数据，系统解读GPU在算力、显存带宽、接口形态与推理速度之间的关联。读者将了解如何根据模型规模、推理延迟和成本约束选择适合的GPU，并掌握Tensor Core、HBM显存、SXM与PCIe接口等关键技术概念对实际性能的影响。
深度学习服务器的GPU选型，是指在大模型训练、微调或推理任务中，根据模型参数规模、精度要求、并发负载与成本预算，选择适配的图形处理器或加速器硬件。GPU在深度学习中的核心作用，是利用大规模并行计算单元加速矩阵乘法、卷积、注意力计算等张量运算，从而显著缩短训练时间或提升推理吞吐。
从技术视角看，GPU选型不只是看单卡价格，而是要综合评估三类指标：算力密度、显存容量与带宽、以及硬件接口与生态兼容性。从业务视角看，选型决定了系统能否在可接受的延迟内完成推理，以及每token或每样本的推理成本是否可控。从使用视角看，选型还要考虑服务器供电、散热、机箱空间、驱动与框架的适配难度。
因此，深度学习服务器GPU选型是一个横跨性能、工程与成本的多目标决策问题。尤其当大模型从7B、8B扩展到14B、30B，甚至更大规模时，GPU的显存与带宽往往比单纯算力更能决定推理体验。
在大模型普及之前，深度学习GPU选型主要关注训练吞吐，例如图像分类、目标检测等任务的每秒处理样本数。但大模型改变了需求结构，带来三个明显变化。
第一，模型参数规模增长远超单卡显存增长。一个14B参数的模型，如果采用16位精度加载，仅权重就需要约28GB显存。再加上KV缓存、激活值、框架运行时开销，16GB显存往往需要做量化或状态卸载，才能勉强运行。选错显存容量，可能导致模型根本无法加载。
第二，自回归推理对显存带宽的敏感度显著上升。大模型逐token生成时，每个token都需要读取全部权重。推理速度的上限直接受制于显存带宽除以模型权重大小。因此，HBM2、HBM2e、HBM3等高位宽高带宽显存，比传统GDDR显存更适合大模型推理。
第三，推理延迟直接影响产品体验。用户对互联网式大模型产品的响应预期一般在每秒20～50token。如果GPU推理速度低于这一区间，实时交互场景就难以落地。选型因此不能只看峰值算力，还要看实际连续生成时的token吞吐。
理解GPU选型，需要拆解其关键能力模块。深度学习GPU通常包含以下核心组成。
传统CUDA核心负责通用并行计算，而张量核心，即Tensor Core，专门加速矩阵乘加运算。张量核心以混合精度方式工作，可以在一个时钟周期内完成多个浮点运算。对于深度学习而言，FP16、BF16、INT8精度下的张量核心性能，往往比FP32通用算力更有参考价值。
以一款发布于2017年左右的企业级加速器为例，其FP16算力约为31.33 TFLOPS，FP32算力约为15.67 TFLOPS，FP64算力约为7.83 TFLOPS。FP16算力接近FP32的两倍，这种设计正是为了加速神经网络的混合精度训练和推理。是否具备张量核心，是区分老一代计算卡与深度学习加速器的关键。
显存容量决定模型能否被加载，以及推理时能保留多大的上下文窗口。显存带宽则决定模型推理时权重读取的速度上限。大模型推理场景中，带宽甚至比算力更先成为瓶颈。
举例来说，一张16GB显存、HBM2带宽约897GB/s的显卡，在14B模型推理中可以达到每秒50token以上。而如果使用多张6GB显存、带宽更低的旧卡组合，即使总显存接近，推理速度也会大幅下降。原因在于多卡通信开销以及单卡带宽不足。
GPU接口形态分为PCIe和SXM等类型。PCIe卡可直接插入标准服务器插槽，部署门槛低。SXM接口则通常用于高密度的加速服务器，需要通过底座或转接板连接。SXM形态的优势在于更高的供电能力和更稳定的板间互连，适合多卡并行训练与高负载推理，但无法直接用于普通PC或常规机箱。
深度学习GPU通常功耗较高，需要风冷或液冷方案。选型时需要考虑服务器是否具备足够的散热余量和电源功率。SXM版卡往往配合特定散热模组使用，而PCIe版则更依赖自身风扇或机箱风道。
大模型推理性能可以粗略建模为：每次生成一个token所需时间，约等于权重大小除以显存带宽，再加上计算延迟和多层网络的计算开销。对于足够大的模型，带宽读取时间主导了生成速度。
例如，一个14B参数模型使用16位精度时，权重约28GB。如果显存带宽为897GB/s，仅读取权重的时间约为31毫秒，对应理论最高速度约每秒32token。但实际工程中，由于量化、缓存优化和算子融合，实际可达每秒50token以上，说明计算与调度同样起到作用。
对于更大规模的30B或32B模型，若采用4位或8位量化，权重体积减小，但依然可能超过16GB显存，导致部分数据溢出到CPU内存。此时推理速度会从每秒25token骤降至每秒6token左右。这种断崖式下降，正是显存不足的典型表现。
因此，GPU推理工作原理可以总结为：算力提供计算上限，显存带宽决定权重读取速度，显存容量决定模型与上下文的可驻留空间。三者共同决定最终token吞吐。
大模型推理通常支持FP16、BF16、INT8、INT4等精度。不同精度对GPU要求差异明显。
FP16/BF16推理对带宽要求高，但计算资源消耗适中，适合显存带宽较高的加速器。INT8量化可成倍降低显存占用和带宽压力，但可能带来一定精度损失，适合对延迟敏感、可接受轻微质量下降的场景。INT4进一步压缩模型体积，但推理质量可能下降明显，通常配合量化校准使用。
从模型规模看，0.6B、1.5B等小模型对GPU要求较低，甚至可在消费级显卡或纯CPU环境运行。7B至14B模型进入主流可部署区间，需要至少12GB至16GB显存，并建议带宽不低于700GB/s。30B至70B模型则更依赖多卡并行或显存更大的专业加速器。
企业常需部署7B至14B级模型用于文档问答或代码助手。此类场景并发适中，容易出现单个请求等待时间过长。选择显存带宽高、具备张量核心的GPU，可将首token延迟控制在可接受范围，并维持每秒30～50token的生成速度。
实时对话要求模型在数百毫秒内返回首个token，并保持流畅生成。此时不仅要求GPU算力充足，还要求KV缓存能完整放在显存中。显存不足时，KV缓存外溢会显著拖慢响应。
批量推理场景中，总吞吐比单请求延迟更重要。需要关注GPU在INT8或FP16下的吞吐以及多卡扩展效率。可采用多卡并行、动态批处理等手段，提高每秒可处理的总token数。
若需在服务器上微调7B以下模型，需要更高显存以容纳优化器状态与梯度。即使模型本身不大，训练过程的显存占用可能是推理的数倍，因此需要预留充分余量。
很多选型误区来自对三个概念的混淆。
算力是GPU每秒可完成的浮点运算次数，决定计算密集型任务的上限。显存带宽是每秒可读写的数据量，决定大模型权重读取速度。显存容量则是可驻留数据的总空间，决定模型能否完整加载。
在传统卷积模型训练中，算力往往是最重要指标。但在大模型推理中，显存带宽和容量的重要性明显上升。一个FP16算力很高但显存带宽不足的消费级显卡，可能在14B模型推理中表现不如上一代拥有HBM高带宽显存的企业级加速器。
此外，显存容量与技术规格表上的算力数据不同，前者直接影响模型是否可运行，后者只影响运行快慢。一旦显存溢出，性能会呈数量级下降，而不是线性变慢。
不同架构、不同显存类型、不同精度下，实际推理速度差异可能远大于理论算力差异。应优先参考同模型、同精度下的实测token吞吐或推理延迟数据。
除模型权重外，推理时还需要为KV缓存、激活值、框架运行内存预留空间。以16GB显存为例，14B模型在INT8或低比特量化下可以稳定运行，但在FP16下可能捉襟见肘。建议显存利用率控制在85%以内。
如果选择非标准接口的加速卡，需确认是否有适配的底座、供电和散热条件。标准PCIe卡部署更灵活，但在多卡互连和高功耗场景可能受限。
仅凭显存大小判断性能不可取。两张低带宽卡组合出的更大显存，推理速度可能远低于单张高带宽卡。同理，只关注品牌而不看带宽、张量核心与驱动生态，也容易做出错误选择。
训练对显存和互连要求更高，推理对带宽与能效更敏感。若预算有限，可考虑训练使用高显存多卡系统，推理使用带宽较高且能效更好的单卡或双卡系统。
深度学习服务器GPU选型的本质，是在算力、显存容量、显存带宽、接口形态与成本之间寻找平衡。对于大模型推理场景，显存带宽和容量往往比单纯算力更先决定用户体验。张量核心支持混合精度加速，HBM高带宽显存提升权重读取效率，而标准接口与工程兼容性影响部署门槛。
理解“它是什么”之后，选型不再是简单比较浮点算力，而是转变为面向模型规模、精度、并发和延迟的综合系统设计。最终目标不是找到某一张“最强”的卡，而是找到在目标模型和实际业务负载下，推理速度、稳定性与成本均可持续的最优选择。