CPU、GPU、TPU、NPU、LPU有何区别？

要理解CPU、GPU、TPU、NPU、LPU这五类芯片，首先要建立一个前提认知：它们之间的差别属于架构选择层面的差别，而非性能强弱层面的差别。性能不是芯片的固有标签，而是“芯片架构 × 负载特征 × 软件栈”三者匹配的结果——同一颗芯片在不同算法负载下，吞吐出现数十倍差距是常态。理解了这一点，才能真正看懂整个AI算力格局。

一、它们是什么：五类处理器的定义

CPU（Central Processing Unit，中央处理器）是通用计算的基石。它以少量功能强大的核心为中心，配备复杂的分支预测、乱序执行和多级缓存，目标是让任意指令流尽可能快地完成，擅长逻辑控制、任务调度、串行计算和复杂分支判断。在AI系统中，CPU通常扮演“总指挥”角色。

GPU（Graphics Processing Unit，图形处理器）从图形渲染演化而来，由成百上千个精简核心构成，以SIMT/SIMD方式成批执行相同操作。它牺牲了单线程灵活性，换取极高的并行吞吐，天然适配矩阵乘、卷积等数据并行的稠密计算，是目前模型训练与大规模推理的主力算力。

TPU（Tensor Processing Unit，张量处理器）属于领域专用架构：把张量（多维矩阵）运算当作“一等公民”，典型做法是用脉动阵列等规则化数据通路，将矩阵乘法固化到硬件流水线中，让数据在计算单元之间流动而非反复读写存储，从而在单位面积与单位能耗上获得更高的有效算力。

NPU（Neural Processing Unit，神经网络处理器）面向神经网络推理设计，尤其强调能效比。它通常以紧耦合的片上SRAM、卷积/矩阵运算引擎，以及对低比特量化、稀疏计算的硬件支持为特征，广泛集成于终端SoC与边缘设备，让视觉、语音等模型可以常驻低功耗运行。

LPU（Language Processing Unit，语言处理单元）是围绕大语言模型推理特点重新设计系统的架构路线。大模型逐token生成时，瓶颈往往不在计算而在访存，因此这类架构的典型思路是：用大容量片上SRAM替代部分DRAM访问，用确定性数据流调度减少控制开销，把存储带宽的利用率推到极致，从而稳定降低生成延迟。

需要说明的是，TPU、LPU等名称在产业界有时也被用作特定厂商的产品系列名，本文仅在通用架构类别的意义上使用这些术语，不指向任何具体产品。

二、为什么会出现五类”PU”

过去二十年，通用处理器的工艺红利持续放缓：晶体管密度提升趋缓，频率逼近功耗墙，单靠工艺进步换取性能变得越来越昂贵。与此同时，AI负载呈现出高度一致的共性——本质是大规模线性代数：矩阵乘、卷积、注意力计算，计算密度高、并行度高、控制流简单，但数据搬运量巨大。

这种“负载形状”与CPU的架构目标并不匹配：CPU的大量晶体管花在缓存、分支预测和控制逻辑上，真正用于算术运算的部分占比很低。于是产业界走向两条路：一是把GPU从图形加速改造为通用并行加速器；二是为新计算域定制专用数据通路，由此诞生了TPU、NPU、LPU等专用架构。

专用化的收益来自“把晶体管花在刀刃上”：省去取指译码，用规则数据通路替代复杂控制，可以把能耗与面积集中到真正的计算上，获得数量级的能效提升。但通用性不可放弃——业务逻辑、数据预处理、任务编排仍然离不开CPU，模型结构的快速演化也要求加速器保留一定灵活性。最终形成的现实格局是：CPU负责逻辑与调度，各类”PU”负责算力，彼此协同构成异构计算系统。

三、核心架构差异：五个维度看懂关键区别

维度一：计算单元的组织方式。 CPU是少量强核，追求单线程低延迟；GPU是数千精简核心，批量并行执行；TPU用脉动阵列或张量核，让数据流过计算单元；NPU用卷积/矩阵引擎加专用后处理单元；LPU则是大规模计算簇配合确定性调度。

维度二：存储层次与数据搬运。 AI计算的真实瓶颈大多在“搬运”而非“计算”。CPU用多级缓存降低平均访问延迟；GPU依赖高带宽显存与片上共享内存；TPU用大容量片上缓冲配合脉动阵列减少中间结果落存；NPU用紧耦合SRAM服务固定算子；LPU则把大容量片上SRAM作为核心资源，尽量让权重与激活驻留片上。

维度三：数值精度支持。 训练通常需要FP32/FP16/BF16等较高精度与动态shape能力；推理则大量使用INT8/INT4等低比特量化。NPU对低比特推理支持激进，GPU与TPU覆盖训练推理全流程，CPU依靠向量化指令集支持有限的精度组合。

维度四：控制流与灵活性。 CPU可以执行任意复杂逻辑；GPU支持通用并行编程但效率依赖计算的规则性；TPU、NPU、LPU对动态分支、不规则计算、频繁变化shape的支持较弱，需要编译器与算子库做大量适配。

维度五：编程模型与软件栈。 芯片能否用好，一半取决于软件栈：并行编程模型、编译器、算子库、推理引擎、分布式通信库。生态成熟度直接决定迁移成本和有效算力的上限。

维度	CPU	GPU	TPU	NPU	LPU
计算单元	少量强核	数千SIMT核心	脉动阵列/张量核	卷积/矩阵引擎	计算簇+数据流调度
设计目标	低延迟通用执行	高吞吐并行计算	张量运算能效	推理能效比	推理带宽利用
存储策略	多级缓存	高带宽显存+共享内存	大容量片上缓冲	紧耦合SRAM	大容量片上SRAM
擅长负载	逻辑/调度/串行	训练与批量推理	大规模矩阵乘	终端边缘推理	LLM逐token生成
典型形态	通用服务器	加速卡/服务器节点	数据中心集群	终端SoC/边缘模组	推理专用实例/设备

四、工作原理：同一颗芯片为何吞吐能差数十倍

衡量芯片不能只看峰值算力（TOPS/FLOPS），更要看有效算力。一个常用的思维工具是Roofline模型：

计算强度 I = 计算量(FLOPs) / 数据搬运量
有效性能 P ≈ min(峰值算力, 存储带宽 × I)
# I 较高（计算密集）→ 受峰值算力约束，堆算力有效
# I 较低（访存密集）→ 受带宽约束，堆算力无效，需提带宽或减少搬运

数十倍吞吐差距正是由此而来：

• 大batch的稠密矩阵乘：权重被反复复用，计算强度高，加速器的计算单元可以接近打满；
• 小batch的大模型逐token解码：在朴素的生成过程中，每产出一个token都要把全部权重（可达数十至数百GB）完整读一遍，计算强度极低，绝大部分算力在“等数据”；
• 动态shape、碎片化小算子、主机与设备间频繁来回拷贝，会进一步拉低利用率。

同一颗GPU在上述两种负载下吞吐相差数十倍并不夸张。这也解释了LPU路线出现的逻辑：既然解码阶段是访存受限，与其继续堆浮点算力，不如重构存储层次与调度方式，让每一字节的带宽都用于有效计算。同理，CPU在稠密矩阵运算上远逊于GPU，但在复杂业务逻辑、低延迟小模型推理上反而更合适——没有全能冠军，只有负载匹配。

五、典型场景映射

• CPU：业务逻辑与编排、数据预处理/后处理、小型模型与低延迟推理、向量化后的向量表示计算等；
• GPU：模型训练主力、多模态处理、批量高吞吐推理、科学计算等稠密并行负载；
• TPU类张量加速器：超大规模矩阵运算、大模型训练与推理一体化集群；
• NPU：手机、PC、边缘盒子中的常驻AI能力，视觉、语音、推荐等能效敏感的推理任务；
• LPU：大语言模型推理服务，尤其是低延迟、高并发的token生成场景。

现实中的生产系统几乎都是组合方案：CPU做调度与前后处理，加速器做核心计算，多颗芯片通过高速互联组成集群协同工作。

六、容易混淆的概念辨析

1. 专用不等于低配。 专用芯片在其目标负载上往往比通用芯片更快、更省电；脱离负载谈“谁更强”没有意义。
2. 训练芯片与推理芯片不是一回事。 训练要求高精度、动态shape、大规模互联；推理更看重单请求延迟、能效与吞吐成本比。
3. 峰值算力不等于有效算力。 利用率取决于负载与软件栈，选型必须以实测为准。
4. 命名边界正在模糊。 GPU也在加入张量核与矩阵扩展，NPU也支持Transformer类算子，TPU也能跑卷积网络；”PU”更多是定位与市场词汇，而非严格的架构分类。
5. 带宽、容量、延迟是三个独立指标。 显存容量决定能装多大模型，带宽决定解码速度，互联带宽决定多卡并行效率，三者不可混为一谈。

七、选型与使用注意事项

1. 先画像，后选型：明确模型结构、参数量、batch大小、序列长度、精度要求、延迟SLO、吞吐目标、成本与功耗约束，再对照架构特点做匹配。
2. 重视软件栈：算子覆盖度、编译器优化能力、框架兼容性、迁移成本，往往比硬件参数更影响落地周期。
3. 关注访存三要素：显存容量、显存带宽、卡间互联带宽；解码类负载中带宽经常比峰值算力更具决定性。
4. 确认量化与稀疏支持：低比特量化、结构化稀疏能否在目标芯片上真正兑现精度与加速收益，需要验证。
5. 用真实负载做基准测试：以自己的模型和数据跑端到端P99延迟与吞吐，而不是只参考宣传峰值。
6. 规划集群与并行策略：数据并行、张量并行、流水线并行对互联拓扑要求不同，多机多卡场景要一并设计。
7. 云上落地要点：以百度智能云等云平台为例，通常提供GPU算力实例、容器平台、模型推理服务等通用类目；选型时重点核对实例规格中的显存、带宽与互联参数，并结合监控告警、日志服务持续观测利用率与瓶颈。
8. 能耗与运维：功耗密度、散热条件、驱动固件升级策略、供应链稳定性都会影响长期总体拥有成本。

八、总结

CPU、GPU、TPU、NPU、LPU本质上是同一问题——“如何高效执行AI计算”——在不同约束条件下给出的不同架构答案：CPU守住通用性，GPU用大规模并行换取吞吐，TPU把张量运算固化为数据通路，NPU把能效比推向终端与边缘，LPU围绕生成式推理重构访存与调度。它们之间的差别是架构选择层面的差别，而非性能强弱层面的差别；离开具体负载，“谁更强”是个伪命题。判断AI算力格局的正确入口，是先刻画负载画像——计算强度、访存特征、延迟与吞吐要求——再看哪种架构与之匹配。掌握这套“架构 × 负载”的匹配思维，比记住任何一颗芯片的参数都更重要。