简介：AI大模型训练与推理依赖海量数据在加速卡之间高速流转，互联技术直接决定集群性能与扩展效率。本文从定义出发，系统阐述AI时代数据中心互联的核心需求：为何传统缓存一致性方案不再适用，为何标准化以太网与高性能专用网络并存，以及不同规模用户在选型时需关注的技术边界与成本考量，帮助读者建立清晰的互联技术认知框架。
AI时代的数据中心互联，指的是在分布式AI训练与推理集群中，用于连接大量加速计算单元（如GPU、AI加速卡）、存储节点及内存资源，以完成集合通信、参数同步、数据流水线等任务的一组网络协议、硬件设备与软件栈的总称。它的核心目标不是追求通用的计算互操作性，而是以最低延迟、最高带宽和最佳成本效率，支撑AI工作负载特有的、由软件框架明确调度的数据搬运模式。
与传统CPU计算互联相比，AI互联面临三大本质差异。第一，通信模式高度规整。AI训练中的梯度同步、数据并行等操作，主要是All-Reduce、All-Gather、All-to-All等集合通信原语，数据流向和通信时序在编译期即可被静态分析。第二，数据搬运是显式且一次性的。训练过程中，数据从显存到显存的搬运由软件屏障和集合通信库控制，不需要硬件感知缓存行的共享状态。第三，规模效应显著。一个万卡集群中，任何一次通信异常或带宽瓶颈都会导致整体训练效率的线性下降，互联的稳定性和可预测性优先级极高。
因此，AI时代互联的“定义级”问题在于：如何在特定工作负载、集群规模和预算约束下，选择并构建一套既不过度设计、又能充分发挥加速卡算力的数据交换通道。
围绕上述定义，当前业界实际上形成了两种显著不同的技术派别。理解这两派的分野，是理解AI互联技术的起点。
通用派主要由两类参与者构成。一类是数量庞大的中小型厂商，它们既无能力参与国际标准制定，也缺乏自研协议与交换设备的资源；另一类是追求极致TCO（总拥有成本）的用户，它们更看重现有基础设施的重用、运维人才的可得性以及设备生态的成熟度。
通用派的主流技术选择是RDMA over Converged Ethernet（RoCE）方案。RoCE的核心思路是，在标准以太网物理层之上，通过流控、优先级流控（PFC）和显式拥塞通知（ECN）等增强机制，模拟出无损或近似无损的网络环境，从而运行RDMA（远程直接内存访问）语义，实现低延迟、高吞吐的数据搬运。这一方案的优势极其明显：以太网设备产业链极其庞大，从芯片到交换机、网卡均有成熟的供应商体系，价格竞争充分；运维人员对以太网的工具链、排障方法论和监控体系非常熟悉，技能获取成本低。在千卡级别的集群中，通过精细的拓扑设计和调优，RoCE完全能够逼近专用网络的性能。
与通用派相对，专用派以InfiniBand（IB）为主要代表。InfiniBand从一开始就是为高性能计算设计的专用互联技术，它具备原生的RDMA支持、无损传输保障、自适应的路由算法（如动态路由）以及硬件级的拥塞控制。这些特性使IB在超大规模集群（数千卡乃至数万卡）中表现出更高的稳定性和性能可预测性。IB网络的管理平面与数据平面紧密耦合，能够提供极低的延迟抖动，这对于同步训练中频繁的全局屏障同步至关重要。
选择IB路线的用户，通常直面两大挑战：一是硬件成本显著高于以太网方案，且供应链相对封闭，议价空间有限；二是运维技能门槛高，需要专业团队掌握IB特有的子网管理、性能监控和故障隔离技术。因此，IB路线更适合对性能有极致要求、且具备充足预算与技术储备的超大规模AI训练用户。
除了上述两种网络级互联，还有一部分探索聚焦于加速卡附近的物理层互联，典型代表是PCIe Switch和CXL（Compute Express Link）技术。
PCIe Switch用于扩展PCIe端口的扇出能力，可以在一台服务器内部连接多张加速卡，或构建一个紧耦合的小型GPU池。它的带宽高、延迟低，但本质上是一种短距离的板级或机柜级互联，不具备跨节点组网的寻址和路由能力。
CXL则更进一步，它基于PCIe物理层，旨在通过缓存一致性协议，在CPU、内存和加速器之间构建统一的内存视图。这意味着多个设备可以像访问本地内存一样访问一个共享的内存池，从而大幅提升内存利用率。然而，CXL的核心设计目标——缓存一致性——恰恰是AI计算并不需要的。如前所述，AI训练中，数据搬运是显式的、由软件调度的“一次性”动作，不存在多设备频繁共享可变内存页的场景。在AI训练场景中，强行引入缓存一致性协议，反而会增加硬件复杂度、提升事务开销、增大延迟，却无法带来性能收益。因此，CXL在多卡AI训练互联领域前景受限，其主要价值集中于内存扩展和内存池化，例如为AI推理服务提供超大容量的低成本内存层，或为内存密集型应用缓解带宽墙。
理解CXL的局限性，关键在于理解AI计算与CPU计算在数据访问模式上的根本不同。
在CPU计算中，多核处理器通过共享内存进行通信，缓存一致性协议（如MESI）确保了每个核看到的内存视图是一致的，从而简化了软件编程模型。软件开发者无需显式管理数据同步，硬件会自动处理缓存行的失效与更新。
而AI计算，尤其是分布式训练，其通信模式完全不同。以数据并行为例，模型参数分布在多张加速卡上，每个训练步骤中，各卡独立计算梯度，然后在全局范围内执行All-Reduce操作。这一过程中，数据从各卡显存被拷贝到网卡，经过网络汇聚、求和，再广播回每一张卡。整个过程是“显式”的——编程框架（如PyTorch、TensorFlow）中的集合通信库精确控制每一次搬运的发起时序、数据量和目标地址。软件屏障（Barrier）保证了各卡在进入下一步迭代前，数据已经就绪。
在这种模型下，硬件层不需要感知内存页的共享状态，也不需要维护缓存行的有效性。只要网络能够提供可靠的、按序的数据传输，并且延迟足够低、带宽足够高，软件就能通过同步原语完成正确性与性能的平衡。引入缓存一致性协议，相当于为了一道并不存在的题目，增加了一套复杂的硬件解题系统。
因此，AI互联技术的本质，是构建一条“显式数据搬运的快速通路”，而不是“多设备共享内存的一致性视图”。这一认知，是选型和架构设计的原点。
基于上述定义，评估一种AI互联技术，需要从以下四个维度建立能力矩阵。
带宽决定单位时间内能搬运多少数据。但实际有效吞吐还取决于协议开销、拥塞控制效率和流控机制。RoCE在无损配置下可达到接近线速的吞吐，但一旦发生PFC风暴或缓存溢出，有效吞吐会急剧下降。InfiniBand的自适应路由则能在多路径间动态负载均衡，更适合通信模式复杂的超大集群。
对于同步训练，延迟直接反映在每一步迭代的等待时间上。更关键的是延迟抖动——如果某一次All-Reduce的完成时间比平均值慢20%，整个集群都要等待最慢的那一个节点。专用互联通常具备硬件级确定性时延保障，而以太网方案则需要通过精细的QoS配置和拓扑收敛来降低抖动。
互联方案必须支持从几卡到数万卡的无缝扩展。扩展性包括端口密度、路由算法、子网管理能力以及故障域隔离。RoCE的扩展难点在于大二层网络中广播域的维护和无损配置的一致性；IB则通过子网管理器实现了更简洁的集中式管理与故障恢复。
生态包括驱动兼容性、主流通信库（如NCCL）的支持程度、监控工具的成熟度以及运维人才的可获得性。TCO则需综合计算硬件采购成本、网络设备成本、功耗、机房空间和运维人力。
| 场景特征 | 推荐路线 | 核心原因 |
|---|---|---|
| 单机多卡训练/推理 | PCIe Switch或NVLink类板级互连 | 延迟极低，无需网络协议开销 |
| 百卡级~千卡级训练集群 | 标准化以太网（RoCE） | 成本可控，生态成熟，性能可满足 |
| 千卡级~万卡级训练集群 | InfiniBand或同等专用网络 | 性能可预测性、低抖动、运维自动化 |
| 大规模AI推理服务 | RoCE + 内存池化（CXL） | 推理对延迟敏感度低于训练，CXL可优化内存成本 |
| 多租户混合负载 | 标准化以太网 | 灵活切分，支持传统云业务与AI业务共存 |
无论选择哪种路线，部署AI互联时都需关注以下问题：
第一，避免过度设计。并非所有业务都需要InfiniBand。评估时要基于真实通信模式的profiling数据，而不是理论峰值。第二，重视网络拓扑与流量工程的匹配。胖树、Dragonfly等拓扑各有优劣，需结合通信模式（如是否跨机架频繁交换）进行选型。第三，无损网络的调优是RoCE落地的最大障碍，PFC死锁、ECN阈值设置、缓冲区分配都需要结合业务压测反复调整。第四，软件栈的配合至关重要。集合通信库的算法选择（如Ring All-Reduce vs Tree All-Reduce）对网络负载影响巨大，需与硬件能力协同优化。第五，监控与排障能力必须前置，AI集群一旦某个链路劣化，训练损失会加速累积，缺乏针对性的丢包和时延监控将使问题难以定位。
AI时代需要什么样的互联？答案是：高度匹配显式数据搬运模式、具备可预测性能、并能与软件框架深度协同的数据交换通道。它不一定是最快的，但一定是最适合业务规模与预算的。标准化以太网（RoCE）以其生态和成本优势占据主流，InfiniBand以专业性能服务顶级集群，而CXL等内存语义技术则在特定边界内发挥价值。理解“不需要什么”往往比“需要什么”更重要——对于AI训练而言，不需要缓存一致性协议带来的复杂度，需要的是软件与硬件在“何时搬运、搬运多少、搬到何处”上达成无需解释的一致。这一认知，将指导未来互联架构的每一次关键决策。