GPU卡详情

GPU服务器使用的NVIDIA GPU卡基本参数信息如下表所示：

GPU卡型号	CUDA Cores	Tensor Cores	显存容量	FP64浮点性能	FP32浮点性能	FP16浮点性能	INT8性能
NVIDIA Tesla A10	9216	288	24GB	--	31 Tflops	125 Tflops	250 Tops
NVIDIA Tesla A100	6912	432	40GB	9.7 Tflops	19.5 Tflops	312 Tflops	624 Tops
NVIDIA Tesla T4	2560	320	16GB	--	8.1 Tflops	65 Tflops	130 Tops
NVIDIA Tesla V100-32G	5120	640	32GB	7.8 Tflops	15.7 Tflops	125 Tflops	60 Tops
NVIDIA Tesla P4	--	2560	8GB	--	5.5 Tflops	--	22 Tops

GPU使用场景

GPU的主流应用场景包含计算型和渲染型

计算型应用可按照业务负载类型按以下分类

人工智能训练

• 针对深度学习的训练负载，有大批量的数据，例如图片、语音、文本等，需要不断更新、迭代神经网络中的参数以满足业务对预测精度的要求
• 可选择高性能的GPU型号来缩短网络模型的收敛时间，深度学习中存在大量矩阵计算，建议选择支持Tensor Core功能的GPU做计算加速
• 进一步提高计算效率可选择分布式训练并选择支持高速GPU互联能力的型号，例如Nvidia Tesla A100、Nvidia Tesla V100等

人工智能推理

• 针对深度学习的在线推理场景，相比训练负载，推理负载对GPU性能的要求降低，但对运行稳定性要求更高，对服务器响应延时也有了更高要求
• 可选择NVIDIA Tesla T4、NVIDIA Tesla P4 在满足性能要求的同时，提供更具性价比的选择，同时支持GPU硬件级的解码功能并加速端到端的图片类推理性能

高性能计算

• 常见的高性能计算应用包括计算流体力学、分子动力学、有限元分析等，通常需要高精度算力来满足应用对精度的要求
• 可选择NVIDIA Tesla A100、NVIDIA Tesla V100等支持双精度浮点计算的GPU型号

渲染型应用可按照业务负载类型按以下分类

图像渲染

• 渲染是用软件从模型生成图像的过程，需要 GPU 卡实现图形加速及实时渲染并常存在CPU、GPU频繁交互的场景
• 推荐使用单精度FP32性能高并支持光线追踪的GPU型号，例如Tesla A10、Tesla T4等

远程图形工作站

• 终端或者客户端通过专用网络连接到主机来进行日常的工作，主机服务器常集中部署在数据中心机房，并通过GPU卡处理图形工作负载
• 推荐使用Tesla T4型号GPU