原理概述
GPU（图形处理器）与CPU（中央处理器）同属计算机处理器范畴，但设计目标截然不同。CPU通过优化单线程性能实现低延迟计算，而GPU通过大规模并行计算单元提升数据吞吐量。这种差异源于两者对计算任务的抽象方式不同：CPU将复杂任务拆解为顺序执行的逻辑步骤，GPU则将简单任务复制到成千上万个并行执行单元。
背景问题
在图形渲染、深度学习训练、科学计算等场景中，需要同时处理数百万个相似计算任务。例如渲染4K分辨率图像时，每个像素的光照计算相互独立；训练神经网络时，每个神经元的权重更新可并行执行。传统CPU架构受限于核心数量（通常4-64核），难以高效处理此类大规模并行任务。
核心概念
- 并行计算范式：将单一任务分解为多个子任务，由不同计算单元同时处理
- 流式处理：数据以流水线方式通过多个处理阶段，每个阶段由专用硬件单元执行
- SIMT架构（单指令多线程）：同一指令被多个线程同时执行，适用于数据并行场景
- 内存层次结构：包含寄存器、共享内存、全局内存等多级缓存，影响数据访问效率
系统组成
现代GPU采用异构计算架构，主要包含以下组件：
- 流式多处理器（SM）：核心计算单元，每个SM包含多个CUDA核心（通常32-128个）
- 调度单元：负责将线程块分配到空闲SM，实现动态负载均衡
- 内存子系统：
- 寄存器：线程私有高速存储（约1-2周期访问延迟）
- 共享内存：SM内线程共享（约10-20周期访问延迟）
- 全局内存：所有线程可访问（约400-600周期访问延迟）
- 特殊功能单元（SFU）：处理三角函数、指数运算等数学函数
- 纹理缓存：优化图像数据访问模式
工作流程
以矩阵乘法（C = A × B）为例说明GPU处理流程：
数据准备：
- 主机端（CPU）将矩阵数据从系统内存复制到GPU全局内存
- 启动内核函数（kernel）定义计算逻辑
线程组织：
# 伪代码示例：二维线程块组织dim3 blockSize(16, 16) # 每个线程块16x16线程dim3 gridSize((M+15)//16, (N+15)//16) # 网格尺寸自动计算matrixMul<<<gridSize, blockSize>>>(d_C, d_A, d_B);
计算执行：
- 每个线程计算输出矩阵C的一个元素
- 线程块内线程通过共享内存协作加载输入矩阵块
- 执行乘加运算（MAD指令）并写入结果
结果回传：
- 计算完成后，GPU通知主机端
- 数据从全局内存复制回系统内存
关键机制
线程级并行（TLP）：
- 每个SM可同时执行数百个线程
- 通过硬件多线程切换隐藏内存访问延迟
- 典型线程束（warp）包含32个连续线程
内存访问优化：
- 合并访问（coalesced access）：确保线程访问连续内存地址
- 使用共享内存减少全局内存访问次数
- 纹理内存优化非连续访问模式
计算与通信重叠：
- 异步拷贝引擎允许数据传输与计算并行执行
- 双缓冲技术隐藏内存初始化时间
精度优化：
- 支持FP32/FP16/INT8等多种数据类型
- Tensor Core加速混合精度矩阵运算（如FP16输入、FP32输出）
示例说明
在图像卷积操作中：
- 输入图像被划分为多个tile（如256x256像素块）
- 每个线程块处理一个tile，内部线程分工计算输出像素
- 通过共享内存缓存输入tile和卷积核
- 使用寄存器存储中间计算结果
- 最终结果写入全局内存时采用流水线方式
技术优势与限制
优势：
- 理论峰值算力可达CPU的10-100倍（如NVIDIA A100提供19.5 TFLOPS FP32性能）
- 内存带宽比CPU高5-20倍（如GDDR6X可达1TB/s）
- 适合处理数据并行任务，能源效率比CPU高3-5倍
限制：
- 顺序代码性能较差（如递归算法）
- 线程启动开销较大（适合大批量任务）
- 全局内存访问延迟高（需通过优化访问模式缓解）
- 生态支持依赖特定编程框架（如CUDA、OpenCL）
常见误区
- GPU=图形加速卡：现代GPU已发展为通用计算加速器，图形处理仅占部分应用场景
- 越多核心越好：实际性能受内存带宽、线程调度效率等因素制约
- 自动并行化：需要开发者显式管理线程组织和内存访问模式
- 忽略数据传输：PCIe带宽可能成为性能瓶颈，需优化主机-设备数据交互
总结
GPU通过SIMT架构和内存层次优化，实现了对大规模并行任务的高效处理。其核心优势在于：通过硬件线程级并行隐藏延迟，利用专用计算单元提升吞吐量，采用多级缓存结构优化数据访问。在实际应用中，需结合任务特性（计算密度、数据依赖性）合理设计并行策略，并与CPU形成协同计算体系。理解这些底层机制，有助于开发者在深度学习训练、科学模拟等场景中充分发挥GPU的计算潜力。