简介：本文围绕 AI 加速芯片领域两种主流技术路线展开对比：一类是以高带宽内存与大规模并行计算为核心的 GPU 方案，另一类是以脉动阵列与可编排互联为特征的 TPU 方案。文章从架构设计、互联拓扑、训练与推理性能、总拥有成本以及适用场景等维度进行拆解，帮助技术决策者理解两者差异，并给出条件化的选型建议与迁移注意事项。
随着大模型训练与推理规模持续扩大，AI 加速芯片的选型已经不再只是硬件规格的比较，而是涉及互联拓扑、软件栈成熟度、模型精度策略以及总拥有成本（TCO）的系统性工程。业内对两类主流方案——GPU 与 TPU——的讨论长期存在，但很多结论建立在单一指标或纸面参数之上，难以直接指导实际工程决策。
近期公开的深度拆解资料显示，TPU 在特定训练负载下确实展现出成本优势，但这一优势的成立依赖于若干前提条件；而 GPU 在推理阶段，尤其是低精度量化场景下，表现出较强的反超能力。本文基于公开数据框架，结合训练、预填充（Prefill）和解码（Decode）三类典型负载，对两条技术路线进行再拆解，重点回答三个问题：架构差异的根源是什么、不同场景下应该如何选择、迁移过程需要注意哪些风险。
GPU 方案：图形处理器最初面向图形渲染设计，后逐步演化为通用并行计算平台。在 AI 场景中，GPU 依靠大量计算核心和高带宽内存，能够高效执行矩阵运算和向量运算。其生态优势在于软件栈覆盖广泛，从底层驱动到上层深度学习框架均有成熟支持，开发者几乎不需要额外适配即可使用主流训练和推理工具。
TPU 方案：张量处理单元是专为神经网络计算设计的 ASIC 芯片，采用脉动阵列结构执行矩阵乘法，在特定数据流模式下具有极高的计算密度和能效比。TPU 的设计哲学强调软硬件协同，通过编译器对计算图进行静态编排，将通信和计算尽可能重叠，从而在规模化训练场景中提升模型浮点运算利用率（MFU）。
两者的共同目标都是加速大规模神经网络的计算过程，但在实现路径上存在根本性差异：GPU 更强调通用性和生态兼容，TPU 更强调专用性和系统级效率。
尽管架构差异显著，TPU 与 GPU 在以下层面存在共性：
并行计算范式：两者都依赖大规模并行计算来处理神经网络中的矩阵运算，核心计算单元均围绕乘加操作设计。
高带宽内存需求：大模型训练和推理对内存带宽极为敏感，两条路线都采用了近存计算设计，将高带宽内存与计算单元紧密封装。
对互联的依赖：单芯片算力无法满足大模型需求，跨芯片互联成为系统性能的关键瓶颈，无论是 TPU 的 3D Torus 还是 GPU 的交换结构，都在尝试解决同一问题：如何在多芯片之间高效传递梯度、激活值和专家路由数据。
软件栈的重要性：硬件性能能否释放，很大程度上取决于编译器、通信库和调度策略的配合。TPU 更依赖编译器自动优化，GPU 则提供更灵活的底层控制能力。
这是两条技术路线最本质的分歧。TPU 采用的 3D Torus 加光电路交换（OCS）结构，假设通信模式可预测、可编排。在规整的万卡级训练任务中，数据流方向相对固定，Torus 结构能够用较少的物理链路实现较高的有效带宽。但这一假设在流量不规则时会出现问题：All-to-All 通信、MoE 专家路由以及动态稀疏计算等场景下，Torus 的绕行延迟和拥塞会显著降低实际吞吐。
GPU 方案采用的交换结构（如 NVSwitch 或 Fat-tree）则假设流量不确定。通过构建多层全互联，任意两个计算节点之间都具备相对均衡的通信路径，系统对不规则流量的容忍度更高。代价是交换机层级增加带来额外的功耗、成本和延迟，但换取了更平滑的性能曲线。
| 维度 | TPU 3D Torus + OCS | GPU 交换结构 |
|---|---|---|
| 流量假设 | 可预测、可编排 | 不确定、需冗余 |
| 链路利用率 | 规整负载下高 | 各场景均衡 |
| 不规则流量表现 | 容易拥塞 | 相对稳定 |
| 物理成本 | 较低 | 较高 |
| 软件补偿需求 | 强依赖编译器调度 | 相对较低 |
训练场景中，TPU 的 MFU 优势被部分研究强调，但其数据基础存在精度口径的隐忧。FP8 精度下公开的 MFU 对比数据并不充分，而业界已有团队在 BF16 下将 GPU 优化到与 TPU 接近的水平。这意味着 TPU 的训练成本优势可能被放大，真实差距取决于具体模型的精度策略和优化深度。
推理场景则呈现相反趋势。GPU 在 FP4 低精度量化上的算力释放更为激进，尤其是在 Prefill 阶段，计算密度远高于内存带宽受限的 Decode 阶段。TPU 在 Prefill 阶段的竞争力相对不足，而 Decode 阶段两者的实际差距也小于纸面带宽数据所暗示的程度。原因在于 Decode 阶段的性能受多种因素综合影响，包括批处理效率、KV Cache 管理策略以及内存子系统设计。
TPU 的软件优化在一定程度上是在弥补硬件拓扑对不规则流量的天然劣势。编译器需要完成计算图切分、通信调度和内存管理的大量工作，这在降低开发者负担的同时，也限制了底层调优的灵活性。当模型结构偏离编译器预期时，性能可能急剧下降。
GPU 的软件栈则提供更细粒度的控制能力，开发者可以手动优化内核、调整通信策略、选择不同的并行方案。这带来了更高的调优上限，但也要求团队具备更深的系统优化能力。
训练场景下，TPU 的成本优势建立在 MFU 差距和互联成本节约两个前提之上。如果 MFU 差距缩小或被抹平，3D Torus 的物理成本优势仍可能保留一定程度的 TCO 优势。但在推理场景中，GPU 凭借 FP4 算力在 Prefill 阶段实现反超，而推理负载在多数商业场景中占比更高，这使得 GPU 的综合 TCO 在推理为主的应用中更具竞争力。
大规模规整训练（万卡级别）：如果训练负载的通信模式相对规整，且团队具备适配 TPU 软件栈的能力，TPU 方案可能带来更低的单位算力成本。但需要提前验证模型结构在 TPU 编译器下的实际 MFU。
超大规模训练（十万卡级别以上）：这一量级下，通信拓扑的容错性和灵活性变得极为关键。交换结构在应对动态路由和故障恢复时表现更稳健，选择 GPU 路线更为稳妥。
MoE 训练与灵活实验：专家并行和动态路由带来大量不规则通信，交换结构的全互联特性更适合此类负载。TPU 的 Torus 结构在这种场景下可能需要额外的软件补偿，实际效率存在较大不确定性。
在线推理与延迟敏感场景：Prefill 阶段的计算密度要求较高，GPU 的低精度加速优势明显。对于延迟敏感型应用，GPU 方案在响应时间的一致性上通常更容易控制。
离线推理与吞吐优先场景：Decode 阶段的瓶颈主要在内存带宽，两条路线的差距相对缩小。此时选择应更多考虑现有基础设施的兼容性和运维团队的熟悉程度。
选型决策需要将以下因素纳入综合评估模型：
负载特征：通信模式是否规整、推理占比、延迟敏感度是首要判断依据。规整训练负载偏多且团队能接受编译器约束时，TPU 值得评估；推理占比高或负载多元时，GPU 的灵活性优势更突出。
团队能力：TPU 方案需要团队理解编译器行为，能够在性能不符合预期时从计算图层面进行诊断和调整。GPU 方案则要求团队具备内核优化和分布式调优能力。两条路线的人才储备成本差异显著。
迁移成本：从 GPU 迁移到 TPU 涉及模型代码适配、通信依赖调整以及 Debug 流程重建。如果团队已经在某一路线上积累了大量工具链和运维经验，切换的隐性成本可能远超硬件成本差异。
长期演进：TPU 的演进节奏由单一研发体系主导，路线稳定性较高但选择面较窄。GPU 路线则受益于更广泛的生态竞争，换代节奏和兼容性表现存在周期性波动。
如果团队决定在两条路线之间迁移，需要关注以下风险点：
精度一致性验证：不同芯片对低精度量化的实现细节存在差异，迁移后需要重新验证模型输出精度，尤其是在 FP8 和 FP4 混合精度场景下。
通信模式重设计：从交换结构迁移到 Torus 结构时，原有的通信策略可能不再适用，需要依赖编译器重新编排，或手动调整并行方式。
监控与可观测性：两条路线的硬件指标暴露方式和诊断工具不同，迁移初期需要重建性能监控面板和故障排查流程。建议在迁移前建立基准测试集，覆盖训练、Prefill 和 Decode 三类负载，以量化迁移后的性能差异。
容量与调度：混合部署阶段可能面临资源调度不均衡的问题，建议通过资源池化和统一调度层进行过渡管理，避免不同芯片平台之间的资源割裂。
TPU 与 GPU 的真正区别不在于单一硬件参数的优劣，而在于对流量形态的假设和软件栈哲学的差异。TPU 以可编排性为前提，在规整训练负载中追求极致效率；GPU 以全互联冗余为基础，在多元负载和推理场景中保持稳定表现。
TCO 的结论必须锚定具体场景：训练和延迟不敏感的离线推理中，TPU 的成本优势在特定条件下成立；推理 Prefill 和延迟敏感在线场景中，GPU 的低精度加速能力具有明显竞争力。对于技术决策者而言，最值得投入精力的不是争论哪条路线更优，而是建立一套覆盖自身负载特征的基准测试体系，用实际数据验证 MFU、延迟分布和单位成本，再做迁移或扩容决策。
在 AI 算力基础设施持续演进的背景下，保持对两条路线的技术理解，避免锁定单一生态，或许是更稳健的长期策略。