算力为何总提 GPU 而少谈 CPU：一份算力载体的定义与边界解析

一、概念定义：什么是“算力”，以及“算力载体”的分化

讨论“一说算力就言必称 GPU”之前，需要先把“算力”这个概念本身定义清楚。

算力（Computing Power）通常指单位时间内完成确定精度数值运算的能力，常见度量包括 FLOPS（浮点运算次数）、TOPS（整数张量运算次数）、TH/s（哈希运算次数）等。但算力不是一个单一维度的标量：同样标注“100 TFLOPS”的两颗芯片，在处理不同形状、不同精度、不同数据依赖关系的计算负载时，实际表现可能相差数十倍。因此更准确的理解是：算力 = 芯片架构特性 × 计算负载特征 × 软件优化程度，三者必须匹配才能转化为有效吞吐。

由此产生“算力载体”的分化。CPU、GPU、ASIC、FPGA 都是算力载体，它们的差异不在于“谁更强”，而在于为哪一类负载特征做了面积与功耗的取舍。所谓“一说算力就言必称 GPU”，本质是当前产业最受关注、投入最密集的负载——深度学习训练与推理——恰好落在 GPU 的架构甜区上，而非 GPU 在所有维度上全面优于 CPU。

二、背景与价值：为什么算力话语权会向 GPU 倾斜

2.1 深度学习的核心计算主体是 GEMM

深度学习的绝大多数计算量集中在通用矩阵乘法（GEMM）及其变体上，包括全连接层、卷积的 im2col 展开、注意力机制中的 QK^T 与 PV 等。这类负载具备三个鲜明特征：

• 高算术强度：每个字节数据被加载后参与的运算次数很多，访存不再是瓶颈；
• 低分支、规则化：控制流简单，几乎没有难以预测的跳转；
• 天然 SIMD 并行：大量相互独立的乘加运算可被同时执行。

这三个特征叠加，构成了典型的吞吐优先型负载，而非延迟优先型负载。

2.2 CPU 与 GPU 的芯片面积分配逻辑截然不同

CPU 的架构目标是最小化单线程延迟、最大化通用性与分支处理能力，因此芯片面积大量分配给乱序执行单元、分支预测器、多级大容量缓存与控制逻辑，真正用于算术运算的单元占比很低。GPU 则相反：以海量轻量核心配合高带宽显存，把面积尽可能堆到运算单元与数据通路上，用线程级并行掩盖访存延迟。

一个常被引用的量级对比可以说明问题：某消费级旗舰 CPU 在全核优化下 FP16 理论算力约为个位数 TFLOPS 级别，双通道内存带宽约百 GB/s 量级；而同代旗舰 GPU 的 AI 张量算力可达上千 TOPS 级别，显存带宽接近 TB/s 量级。仅张量算力一项，差距就在数百倍量级。

2.3 规模效应放大差距

在中大规模矩阵乘法测试中，充分优化后的 GPU 相比高度并行的 CPU 实现，常见加速比在数十倍区间，且矩阵规模越大，GPU 的带宽与并行优势越明显。这解释了为什么 AI 训练与高并发推理几乎成为 GPU 的主场：不是因为 CPU“不能算”，而是因为在吞吐优先的负载上，CPU 的单位成本、单位功耗有效算力显著落后。

三、核心组成与工作原理：异构计算中的角色分工

3.1 CPU 不是“不能跑 AI”，而是定位为控制节点

在完整的 AI 链路中，CPU 承担的是控制面职责：

• 数据预处理与清洗、样本加载与增强；
• token 解析、请求排队与批处理调度；
• 网络通信、集群协调、参数同步的控制逻辑；
• 控制流分支、RAG 检索逻辑、工具调用编排；
• 小参数量模型（约 7B 以内）、低并发场景下的推理兜底。

借助向量与低精度整数指令集扩展，CPU 完全可以完成中小规模推理，只是受限于内存带宽与并行度，不适合大规模训练与高并发在线推理。一台标准的八卡训练服务器依然会配置多路服务器级 CPU，但算力主体交给加速卡，CPU 负责喂数据与管调度——这是异构计算的典型形态。

3.2 一个简化的工作流示意

请求进入 → CPU：解析、批处理、调度 → GPU：GEMM/Attention 主体计算
        → CPU：后处理、结果组装、网络回传

可以看到，CPU 串起了全流程的“胶水”环节，GPU 只负责其中算术最密集的一段。二者是流水线协作关系，而非替代关系。

四、为什么矿机式 ASIC 难以在 AI 领域复刻

这是原问题中最值得展开的一点。专用集成电路矿机的成功，源于 PoW 哈希是静态固化负载：算法定型多年不变，计算逻辑是固定的整数哈希循环，不需要浮点、不需要灵活寻址。硬件固化后，单位功耗的算力收益极高，因此能快速淘汰通用 GPU 挖矿。部分依赖显存带宽的算法曾延缓 ASIC 落地，但最终仍出现专用矿机，直到项目共识机制变更。

AI 负载存在两个 ASIC 难以承受的约束：

其一，算法迭代周期短。 模型结构、算子组合、精度格式几乎以季度为单位演进，从稠密到稀疏、从单模态到多模态、从训练到各类后训练与推理优化，负载形态持续漂移。一颗先进工艺芯片从设计到流片量产周期长、一次性工程费用高昂，等芯片回来，目标负载可能已经换代。

其二，计算精度组合多样。 训练与推理需要覆盖多种浮点与低精度整数格式，且同一模型不同层可能采用不同精度策略。全固定数据通路的 ASIC 缺乏这种灵活性，而 GPU 通过可编程张量核心加软件栈，能在同一硬件上覆盖多种精度与算子组合。

结论是：矿机 ASIC 赌的是“算法不变”，AI 芯片赌的是“算法持续变”。后者的不确定性，决定了通用可编程加速器在相当长时间内仍是主流选择。

五、相关概念区别与使用注意事项

CPU vs GPU vs ASIC：CPU 强在控制与低延迟通用处理；GPU 强在高算术强度、规则并行的吞吐；ASIC 强在算法固定后的极致能效，弱在灵活性。三者是光谱上的不同点位，不是优劣排序。

理论峰值 vs 有效算力：厂商标称的峰值算力是上限，实际有效算力取决于访存、并行度、算子融合与编译优化。选型时应以目标负载的实测吞吐为准。

带宽常被忽视：很多“算力够但跑不快”的问题，根源在显存带宽或主机与设备间的互联带宽，而非运算单元不足。

软件生态是隐形门槛：编程模型、算子库、编译器与框架适配程度，直接决定硬件算力能否被释放。这也是新硬件形态难以快速替代成熟方案的重要原因。

六、总结

回到定义本身：算力是架构特性与负载特征匹配后的有效吞吐能力。“一说算力就言必称 GPU”，并非 CPU 不行，而是当前最受关注的 AI 负载恰好是高算术强度、低分支、规则并行的吞吐型负载，落在 GPU 的架构甜区；CPU 则稳固占据控制面与中小规模推理的生态位。矿机式 ASIC 的成功依赖算法静态固化，而 AI 算法持续迭代、精度组合多样，这一根本差异决定了专用整机难以简单复刻。理解算力，关键是理解负载与载体的匹配关系，而不是记住某一个芯片名字。