GPU 与 CPU、NPU、TPU 的工作原理对比解析

作者:新兰2026.11.16 11:00浏览量:0

简介:本文从硬件组织、并行执行、存储层次、任务调度和编程控制等角度,对比 GPU 与 CPU、NPU、TPU 的工作方式,解释线程、寄存器、共享内存、显存、计算单元之间的关系,并结合 CUDA 类通用编程模型分析数据传输、任务同步和性能优化方法,帮助读者判断不同处理器适合的计算场景。

一、为什么要比较 GPU、CPU、NPU 与 TPU

理解 GPU,不能只把它看成“执行图形渲染的设备”。在现代计算系统中,CPU、GPU、NPU、TPU 都可以参与计算,但它们在硬件结构、指令执行方式、存储体系和适用场景上存在明显差异。

CPU 更擅长复杂控制、分支判断、串行任务和通用程序执行;GPU 更擅长将大量相似任务拆分后并行处理;NPU 和 TPU 则通常面向神经网络推理、矩阵运算等特定计算模式进行专门优化。

因此,理解 GPU 工作原理的关键,不只是了解某个编程接口,而是要回答以下问题:

  • 一个计算任务如何从 CPU 传递到 GPU?
  • GPU 内部如何组织计算单元?
  • 线程、线程块、计算单元之间是什么关系?
  • 数据为什么要在寄存器、共享内存、缓存和显存之间移动?
  • 为什么某些程序使用 GPU 后性能提升明显,而另一些程序反而变慢?
  • GPU 与 NPU、TPU 这类专用协处理器相比,优势和边界分别是什么?

二、CPU 与 GPU:通用控制和大规模并行的差异

CPU 通常由数量较少但能力较强的核心组成。每个核心拥有较复杂的控制逻辑、分支预测、乱序执行、缓存系统和较强的单线程处理能力。它适合运行操作系统、编译器、数据库事务、业务逻辑以及包含大量条件判断的程序。

GPU 则采用大量相对简单的计算单元,并通过大规模并行来获得吞吐能力。它并不是把一个任务简单地“做得更快”,而是同时处理大量结构相似的数据。例如:

  • 对图像中的每个像素执行相似计算;
  • 对矩阵中的大量元素执行乘加运算;
  • 对一批向量进行相同的变换;
  • 对大量样本执行相同的推理或预处理操作。

CPU 的优势在于灵活性和低延迟,GPU 的优势在于并行吞吐量。二者通常不是相互替代,而是由 CPU 负责控制和调度,由 GPU 负责适合并行化的数据计算。

可以用一个简单的抽象流程表示:

  1. CPU:
  2. 准备数据 → 组织计算参数 → 提交任务 → 等待或继续执行其他任务
  3. GPU:
  4. 接收任务 → 启动大量线程 → 并行读取数据 → 执行计算 → 写回结果

如果任务规模较小、分支复杂、数据依赖强,CPU 往往更合适。如果任务规模大、计算模式规则、数据之间相互独立,GPU 通常更有优势。

三、GPU 内部的层次化组织

不同 GPU 的具体硬件命名可能不同,但从通用理解角度,可以将 GPU 看成多个层级组成的并行处理系统:

  1. GPU
  2. ├── 多个图形或计算处理组
  3. │ ├── 多个线程处理组
  4. │ │ ├── 多个流式计算单元
  5. │ │ ├── 寄存器文件
  6. │ │ ├── 共享高速缓存或共享内存
  7. │ │ └── 专用计算模块
  8. │ └── 调度与缓存资源
  9. └── 全局显存接口

这些名称在不同硬件中可能有所区别,但基本思想是一致的:GPU 将大量计算资源划分为多个层级,再由硬件调度器把线程任务分配到可用的计算单元上。

  1. 计算处理组

较高层级的处理组负责管理一部分计算资源和任务分配。GPU 运行大型任务时,通常会将线程块分散到不同处理组中执行,以提高资源利用率。

  1. 线程处理组

线程处理组通常包含若干执行单元、寄存器资源、共享内存以及缓存资源。一个线程块可能被调度到某个线程处理组中,并在其内部运行。

  1. 流式计算单元

流式计算单元可以理解为执行算术和逻辑指令的基本资源。它们负责进行加法、乘法、比较、类型转换等操作。在矩阵计算和深度学习场景中,部分 GPU 还会配置专门用于矩阵乘加的计算模块,以提升特定运算的吞吐量。

四、线程、线程块与硬件执行单元

GPU 编程中常见的抽象层次包括线程、线程块和网格。

  • 线程:执行一个具体数据元素的计算;
  • 线程块:一组可以协同工作的线程;
  • 网格:由多个线程块组成的完整计算任务。

例如,对一个数组逐元素相加,可以让一个线程负责一个数组位置:

  1. 结果[i] = 数组A[i] + 数组B[i]

当数组规模较大时,系统会启动大量线程。线程并不是分别由独立的完整处理器执行,而是会按照硬件规则被组织成若干执行组,由同一个计算单元以类似单指令多数据的方式执行。

这种方式带来很高的吞吐量,但也有明显限制:如果同一执行组内的线程频繁走不同分支,硬件可能需要分别执行不同路径,导致并行效率下降。因此,GPU 更适合执行控制流相对一致的程序。

线程块是 GPU 编程中的重要边界。一个线程块内部的线程通常可以:

  • 使用共享内存交换数据;
  • 进行屏障同步;
  • 协同完成矩阵、卷积或归约任务;
  • 在同一计算资源范围内共享部分硬件资源。

但线程块之间通常不适合频繁同步。如果任务需要大量全局同步,往往需要拆分成多个阶段,由 CPU 或设备端调度机制在阶段之间建立依赖关系。

五、GPU 的存储层次:速度、容量与距离的平衡

GPU 性能优化的核心之一,是合理利用不同层次的存储资源。常见存储层次可以概括为:

存储层次 访问范围 速度特征 典型用途
寄存器 单个线程 通常最快 保存线程私有变量
共享内存 同一线程块 较快 线程协作、数据复用
缓存 多线程或多个计算单元 速度依层次变化 缓解重复访问和访存延迟
全局显存 多个线程和任务 容量较大但延迟较高 保存主要输入、输出数据
主机内存 CPU 使用 跨设备访问成本较高 保存原始数据和最终结果
  1. 寄存器

寄存器距离执行单元最近,适合保存线程私有变量和中间结果。但寄存器数量有限。如果每个线程使用过多寄存器,会减少一个计算单元同时容纳的线程数量,进而降低占用率。

  1. 共享内存

共享内存位于计算单元附近,由同一线程块中的线程共同使用。它适合缓存会被多个线程重复访问的数据,例如矩阵分块计算中的局部数据。

共享内存虽然速度较快,但容量有限,并且需要开发者自行组织访问方式。如果多个线程同时访问相互冲突的位置,可能产生访问冲突,降低实际效率。

  1. 全局显存

全局显存容量相对较大,适合保存输入数据、输出数据和大型中间结果。但其访问延迟通常明显高于寄存器和共享内存。

优化全局显存访问时,需要关注访问是否连续、是否对齐、是否存在重复读取,以及数据是否能够被缓存复用。很多 GPU 程序的瓶颈并非计算能力不足,而是数据搬运速度不足。

  1. Local Memory 的误解

当线程的私有变量无法放入寄存器时,编译器可能将其放入一种逻辑上的局部存储区域。虽然它属于某个线程,但物理上可能位于较慢的设备内存中,因此访问代价可能明显增加。

所以,“变量是线程私有的”并不代表“变量一定在高速寄存器中”。开发者需要关注寄存器使用量、局部数组大小和编译器生成的实际资源分配。

六、什么是 GPU 占用率,为什么占用率不是越高越好

GPU 占用率通常表示一个计算单元上同时驻留的线程数量,相对于硬件最大驻留能力的比例。提高占用率的目的,是让 GPU 在等待内存访问或其他指令完成时,可以切换到另一组线程继续执行,从而隐藏访问延迟。

影响占用率的因素包括:

  • 每个线程使用的寄存器数量;
  • 每个线程块占用的共享内存;
  • 线程块大小;
  • 计算单元可容纳的最大线程数;
  • 计算单元可容纳的线程块数量;
  • 程序中的同步和资源依赖。

但是,占用率并不是越高越好。如果为了提高占用率而过度压缩寄存器使用,可能导致更多数据反复从显存读取;如果线程块过小,也可能无法充分利用硬件执行宽度。因此应同时观察:

  • 计算吞吐量;
  • 显存带宽利用率;
  • 指令执行效率;
  • 分支分化情况;
  • 缓存命中率;
  • 内存访问合并程度;
  • 实际端到端延迟。

占用率更像是诊断指标,而不是最终目标。最终目标应是让整个任务在给定约束下获得更好的吞吐、延迟和稳定性。

七、GPU 任务是如何从 CPU 传递过去的

在通用异构计算模型中,CPU 通常负责准备数据和发起任务,驱动程序负责把应用层请求转换为设备可以理解的命令,GPU 再由硬件调度器执行这些命令。

一个典型过程如下:

  1. 应用程序在 CPU 上分配主机内存;
  2. 准备输入数据;
  3. 申请或使用设备侧内存;
  4. 将数据从主机内存复制到设备内存;
  5. 提交计算任务;
  6. GPU 调度线程块并执行;
  7. 将结果复制回主机,或继续留在设备侧供后续任务使用。

如果每个小任务都进行一次主机与设备之间的数据复制,复制开销可能抵消 GPU 的计算收益。因此,常见优化方法包括:

  • 尽量批量传输数据;
  • 减少不必要的主机与设备往返;
  • 将多个计算阶段串联在设备侧完成;
  • 使用异步复制和计算重叠;
  • 通过多个执行队列安排相互独立的任务;
  • 使用事件或依赖关系控制任务顺序。

八、执行队列、异步操作与同步

执行队列可以理解为提交 GPU 任务的逻辑通道。开发者可以将任务放入不同队列中,由运行时和驱动程序根据依赖关系安排执行。

异步并不意味着任务一定同时执行,而是表示 CPU 提交任务后不必立即等待 GPU 完成。只有当程序需要读取结果、显式同步或遇到依赖关系时,才需要等待相关任务完成。

事件机制通常用于记录某个任务阶段的完成状态,例如:

  1. 提交数据复制
  2. 记录事件A
  3. 提交计算任务
  4. 记录事件B
  5. 等待事件B
  6. 读取结果

事件可以帮助开发者测量阶段耗时、建立任务依赖,也可以用于实现计算与数据传输的重叠。但过度同步会使 CPU 和 GPU 互相等待,降低整体吞吐量。

九、GPU 与 NPU、TPU 的共同点和差异

GPU、NPU、TPU 都属于协处理器或加速处理器范畴。它们的共同点包括:

  • 通常由 CPU 负责控制和调度;
  • 都可能拥有独立的局部存储;
  • 都适合将特定计算任务卸载到专用硬件;
  • 都需要关注数据搬运、任务调度和同步成本;
  • 都依赖编译器、驱动和运行时完成软硬件衔接。

但三者的优化方向不同。

对比维度 GPU NPU TPU
主要定位 通用并行计算与图形处理 神经网络推理和端侧智能计算 面向张量、矩阵运算的专用加速
灵活性 较高 通常受算子和模型支持范围影响 通常针对特定计算模式优化
控制逻辑 支持较复杂的并行程序 更偏向固定计算图或算子执行 更偏向规则化张量计算
典型优势 并行范围广、编程能力较强 功耗和端侧推理效率较好 矩阵吞吐能力和能效可能更突出
适合任务 图形、科学计算、数据处理、通用 AI 语音、视觉、端侧模型推理 大规模矩阵和张量类计算
使用限制 需要处理访存、并行和调度优化 对模型结构、算子兼容性更敏感 对通用程序和非规则任务适应性较弱

这里不能简单认为某一种处理器一定优于其他处理器。选择取决于模型结构、数据规模、延迟要求、功耗限制、软件生态和迁移成本。

十、不同场景下如何选择

  1. 通用科学计算

如果任务包含大量矩阵运算、向量运算、图像处理或数值模拟,GPU 通常具有较好的适应性。但需要确保数据规模足够大,并减少主机与设备之间的数据往返。

  1. 复杂业务逻辑

如果程序包含大量条件判断、链式依赖、动态内存操作和不规则数据结构,CPU 往往更容易获得稳定表现。即使使用 GPU,也可能需要由 CPU 负责主要控制逻辑,再将其中规则化的计算阶段卸载给 GPU。

  1. 端侧智能应用

对于功耗敏感、设备空间有限、模型结构相对固定的场景,NPU 可能更有吸引力。但需要提前确认模型算子是否得到支持,以及量化、精度和动态输入是否满足要求。

  1. 大规模深度学习训练或推理

当计算主要由大规模张量和矩阵操作组成时,GPU 或专用张量加速器都可能适用。实际选择应综合考虑模型并行方式、显存容量、数据传输、框架兼容性和部署成本。

十一、迁移和优化时需要注意什么

从 CPU 迁移到 GPU,并不是把循环加上并行标记就完成了。需要重点检查以下问题:

  • 数据结构是否适合连续访问;
  • 任务之间是否存在强依赖;
  • 单个任务规模是否足够大;
  • 主机与设备之间的数据复制是否过多;
  • 线程块大小是否合理;
  • 寄存器和共享内存是否超限;
  • 是否存在严重分支分化;
  • 是否需要频繁全局同步;
  • 计算结果是否受浮点精度变化影响;
  • 运行时、驱动和编译环境是否兼容。

从 GPU 迁移到 NPU 或 TPU 时,重点则转向模型算子支持、计算图转换、精度策略、动态形状、内存布局和运行时适配。专用加速器可能在目标模型上具有较高效率,但对非标准算子和通用控制逻辑的支持通常需要额外处理。

十二、总结:理解 GPU 的核心方法

GPU 的本质不是“拥有很多更快的 CPU”,而是采用不同于 CPU 的组织方式:通过大量计算单元、层次化存储和成组线程执行,换取大规模数据并行吞吐。

CPU 与 GPU 的主要差异,在于 CPU 更关注单线程低延迟和复杂控制,GPU 更关注大规模并行和高吞吐。GPU 与 NPU、TPU 的差异,则主要来自通用性和专用性的取舍:GPU 适应范围较广,NPU 和 TPU 更倾向于针对神经网络、矩阵和张量计算进行专门优化。

实际使用时,应按照以下顺序判断:

  1. 任务是否能够拆分成大量相似的子任务;
  2. 数据规模是否足以覆盖设备启动和传输成本;
  3. 计算瓶颈还是内存访问瓶颈;
  4. 是否能够合理使用寄存器、共享内存和缓存;
  5. 是否需要频繁同步;
  6. 模型或算法是否适合专用加速器;
  7. 团队是否具备相应的开发、调试和运维能力。

只有把算法特征、硬件结构、数据移动和软件成本放在一起分析,才能真正理解 GPU 的工作原理,并在 CPU、GPU、NPU 与 TPU 之间做出适合具体场景的技术选择。