简介:本文从硬件组织、并行执行、存储层次、任务调度和编程控制等角度,对比 GPU 与 CPU、NPU、TPU 的工作方式,解释线程、寄存器、共享内存、显存、计算单元之间的关系,并结合 CUDA 类通用编程模型分析数据传输、任务同步和性能优化方法,帮助读者判断不同处理器适合的计算场景。
一、为什么要比较 GPU、CPU、NPU 与 TPU
理解 GPU,不能只把它看成“执行图形渲染的设备”。在现代计算系统中,CPU、GPU、NPU、TPU 都可以参与计算,但它们在硬件结构、指令执行方式、存储体系和适用场景上存在明显差异。
CPU 更擅长复杂控制、分支判断、串行任务和通用程序执行;GPU 更擅长将大量相似任务拆分后并行处理;NPU 和 TPU 则通常面向神经网络推理、矩阵运算等特定计算模式进行专门优化。
因此,理解 GPU 工作原理的关键,不只是了解某个编程接口,而是要回答以下问题:
二、CPU 与 GPU:通用控制和大规模并行的差异
CPU 通常由数量较少但能力较强的核心组成。每个核心拥有较复杂的控制逻辑、分支预测、乱序执行、缓存系统和较强的单线程处理能力。它适合运行操作系统、编译器、数据库事务、业务逻辑以及包含大量条件判断的程序。
GPU 则采用大量相对简单的计算单元,并通过大规模并行来获得吞吐能力。它并不是把一个任务简单地“做得更快”,而是同时处理大量结构相似的数据。例如:
CPU 的优势在于灵活性和低延迟,GPU 的优势在于并行吞吐量。二者通常不是相互替代,而是由 CPU 负责控制和调度,由 GPU 负责适合并行化的数据计算。
可以用一个简单的抽象流程表示:
CPU:准备数据 → 组织计算参数 → 提交任务 → 等待或继续执行其他任务GPU:接收任务 → 启动大量线程 → 并行读取数据 → 执行计算 → 写回结果
如果任务规模较小、分支复杂、数据依赖强,CPU 往往更合适。如果任务规模大、计算模式规则、数据之间相互独立,GPU 通常更有优势。
三、GPU 内部的层次化组织
不同 GPU 的具体硬件命名可能不同,但从通用理解角度,可以将 GPU 看成多个层级组成的并行处理系统:
GPU├── 多个图形或计算处理组│ ├── 多个线程处理组│ │ ├── 多个流式计算单元│ │ ├── 寄存器文件│ │ ├── 共享高速缓存或共享内存│ │ └── 专用计算模块│ └── 调度与缓存资源└── 全局显存接口
这些名称在不同硬件中可能有所区别,但基本思想是一致的:GPU 将大量计算资源划分为多个层级,再由硬件调度器把线程任务分配到可用的计算单元上。
较高层级的处理组负责管理一部分计算资源和任务分配。GPU 运行大型任务时,通常会将线程块分散到不同处理组中执行,以提高资源利用率。
线程处理组通常包含若干执行单元、寄存器资源、共享内存以及缓存资源。一个线程块可能被调度到某个线程处理组中,并在其内部运行。
流式计算单元可以理解为执行算术和逻辑指令的基本资源。它们负责进行加法、乘法、比较、类型转换等操作。在矩阵计算和深度学习场景中,部分 GPU 还会配置专门用于矩阵乘加的计算模块,以提升特定运算的吞吐量。
四、线程、线程块与硬件执行单元
GPU 编程中常见的抽象层次包括线程、线程块和网格。
例如,对一个数组逐元素相加,可以让一个线程负责一个数组位置:
结果[i] = 数组A[i] + 数组B[i]
当数组规模较大时,系统会启动大量线程。线程并不是分别由独立的完整处理器执行,而是会按照硬件规则被组织成若干执行组,由同一个计算单元以类似单指令多数据的方式执行。
这种方式带来很高的吞吐量,但也有明显限制:如果同一执行组内的线程频繁走不同分支,硬件可能需要分别执行不同路径,导致并行效率下降。因此,GPU 更适合执行控制流相对一致的程序。
线程块是 GPU 编程中的重要边界。一个线程块内部的线程通常可以:
但线程块之间通常不适合频繁同步。如果任务需要大量全局同步,往往需要拆分成多个阶段,由 CPU 或设备端调度机制在阶段之间建立依赖关系。
五、GPU 的存储层次:速度、容量与距离的平衡
GPU 性能优化的核心之一,是合理利用不同层次的存储资源。常见存储层次可以概括为:
| 存储层次 | 访问范围 | 速度特征 | 典型用途 |
|---|---|---|---|
| 寄存器 | 单个线程 | 通常最快 | 保存线程私有变量 |
| 共享内存 | 同一线程块 | 较快 | 线程协作、数据复用 |
| 缓存 | 多线程或多个计算单元 | 速度依层次变化 | 缓解重复访问和访存延迟 |
| 全局显存 | 多个线程和任务 | 容量较大但延迟较高 | 保存主要输入、输出数据 |
| 主机内存 | CPU 使用 | 跨设备访问成本较高 | 保存原始数据和最终结果 |
寄存器距离执行单元最近,适合保存线程私有变量和中间结果。但寄存器数量有限。如果每个线程使用过多寄存器,会减少一个计算单元同时容纳的线程数量,进而降低占用率。
共享内存位于计算单元附近,由同一线程块中的线程共同使用。它适合缓存会被多个线程重复访问的数据,例如矩阵分块计算中的局部数据。
共享内存虽然速度较快,但容量有限,并且需要开发者自行组织访问方式。如果多个线程同时访问相互冲突的位置,可能产生访问冲突,降低实际效率。
全局显存容量相对较大,适合保存输入数据、输出数据和大型中间结果。但其访问延迟通常明显高于寄存器和共享内存。
优化全局显存访问时,需要关注访问是否连续、是否对齐、是否存在重复读取,以及数据是否能够被缓存复用。很多 GPU 程序的瓶颈并非计算能力不足,而是数据搬运速度不足。
当线程的私有变量无法放入寄存器时,编译器可能将其放入一种逻辑上的局部存储区域。虽然它属于某个线程,但物理上可能位于较慢的设备内存中,因此访问代价可能明显增加。
所以,“变量是线程私有的”并不代表“变量一定在高速寄存器中”。开发者需要关注寄存器使用量、局部数组大小和编译器生成的实际资源分配。
六、什么是 GPU 占用率,为什么占用率不是越高越好
GPU 占用率通常表示一个计算单元上同时驻留的线程数量,相对于硬件最大驻留能力的比例。提高占用率的目的,是让 GPU 在等待内存访问或其他指令完成时,可以切换到另一组线程继续执行,从而隐藏访问延迟。
影响占用率的因素包括:
但是,占用率并不是越高越好。如果为了提高占用率而过度压缩寄存器使用,可能导致更多数据反复从显存读取;如果线程块过小,也可能无法充分利用硬件执行宽度。因此应同时观察:
占用率更像是诊断指标,而不是最终目标。最终目标应是让整个任务在给定约束下获得更好的吞吐、延迟和稳定性。
七、GPU 任务是如何从 CPU 传递过去的
在通用异构计算模型中,CPU 通常负责准备数据和发起任务,驱动程序负责把应用层请求转换为设备可以理解的命令,GPU 再由硬件调度器执行这些命令。
一个典型过程如下:
如果每个小任务都进行一次主机与设备之间的数据复制,复制开销可能抵消 GPU 的计算收益。因此,常见优化方法包括:
八、执行队列、异步操作与同步
执行队列可以理解为提交 GPU 任务的逻辑通道。开发者可以将任务放入不同队列中,由运行时和驱动程序根据依赖关系安排执行。
异步并不意味着任务一定同时执行,而是表示 CPU 提交任务后不必立即等待 GPU 完成。只有当程序需要读取结果、显式同步或遇到依赖关系时,才需要等待相关任务完成。
事件机制通常用于记录某个任务阶段的完成状态,例如:
提交数据复制记录事件A提交计算任务记录事件B等待事件B读取结果
事件可以帮助开发者测量阶段耗时、建立任务依赖,也可以用于实现计算与数据传输的重叠。但过度同步会使 CPU 和 GPU 互相等待,降低整体吞吐量。
九、GPU 与 NPU、TPU 的共同点和差异
GPU、NPU、TPU 都属于协处理器或加速处理器范畴。它们的共同点包括:
但三者的优化方向不同。
| 对比维度 | GPU | NPU | TPU |
|---|---|---|---|
| 主要定位 | 通用并行计算与图形处理 | 神经网络推理和端侧智能计算 | 面向张量、矩阵运算的专用加速 |
| 灵活性 | 较高 | 通常受算子和模型支持范围影响 | 通常针对特定计算模式优化 |
| 控制逻辑 | 支持较复杂的并行程序 | 更偏向固定计算图或算子执行 | 更偏向规则化张量计算 |
| 典型优势 | 并行范围广、编程能力较强 | 功耗和端侧推理效率较好 | 矩阵吞吐能力和能效可能更突出 |
| 适合任务 | 图形、科学计算、数据处理、通用 AI | 语音、视觉、端侧模型推理 | 大规模矩阵和张量类计算 |
| 使用限制 | 需要处理访存、并行和调度优化 | 对模型结构、算子兼容性更敏感 | 对通用程序和非规则任务适应性较弱 |
这里不能简单认为某一种处理器一定优于其他处理器。选择取决于模型结构、数据规模、延迟要求、功耗限制、软件生态和迁移成本。
十、不同场景下如何选择
如果任务包含大量矩阵运算、向量运算、图像处理或数值模拟,GPU 通常具有较好的适应性。但需要确保数据规模足够大,并减少主机与设备之间的数据往返。
如果程序包含大量条件判断、链式依赖、动态内存操作和不规则数据结构,CPU 往往更容易获得稳定表现。即使使用 GPU,也可能需要由 CPU 负责主要控制逻辑,再将其中规则化的计算阶段卸载给 GPU。
对于功耗敏感、设备空间有限、模型结构相对固定的场景,NPU 可能更有吸引力。但需要提前确认模型算子是否得到支持,以及量化、精度和动态输入是否满足要求。
当计算主要由大规模张量和矩阵操作组成时,GPU 或专用张量加速器都可能适用。实际选择应综合考虑模型并行方式、显存容量、数据传输、框架兼容性和部署成本。
十一、迁移和优化时需要注意什么
从 CPU 迁移到 GPU,并不是把循环加上并行标记就完成了。需要重点检查以下问题:
从 GPU 迁移到 NPU 或 TPU 时,重点则转向模型算子支持、计算图转换、精度策略、动态形状、内存布局和运行时适配。专用加速器可能在目标模型上具有较高效率,但对非标准算子和通用控制逻辑的支持通常需要额外处理。
十二、总结:理解 GPU 的核心方法
GPU 的本质不是“拥有很多更快的 CPU”,而是采用不同于 CPU 的组织方式:通过大量计算单元、层次化存储和成组线程执行,换取大规模数据并行吞吐。
CPU 与 GPU 的主要差异,在于 CPU 更关注单线程低延迟和复杂控制,GPU 更关注大规模并行和高吞吐。GPU 与 NPU、TPU 的差异,则主要来自通用性和专用性的取舍:GPU 适应范围较广,NPU 和 TPU 更倾向于针对神经网络、矩阵和张量计算进行专门优化。
实际使用时,应按照以下顺序判断:
只有把算法特征、硬件结构、数据移动和软件成本放在一起分析,才能真正理解 GPU 的工作原理,并在 CPU、GPU、NPU 与 TPU 之间做出适合具体场景的技术选择。