什么是AI集群互联：撑起十万卡集群的百万链路

一、概念定义：AI集群互联是什么

AI集群互联（AI Cluster Interconnect）并不是指某一款具体产品，而是一整套把大规模AI集群中数以万计的加速卡、服务器节点、交换节点和存储节点连接成“一台逻辑上的巨型计算机”的高速链路与互联芯片体系。它贯穿三个物理层级：节点内的主板与背板、机柜内及相邻机柜之间的高带宽域，以及覆盖整个数据中心的集群级网络。

可以从三个视角理解这一概念：

• 技术视角：它是由PCIe交换芯片、PCIe重定时器、高速铜缆与有源电缆、光模块、高速网卡及多层交换网络共同构成的多协议高速数据通路，负责在微秒级时延内搬运梯度、激活值等海量数据。
• 业务视角：它是决定集群“有效算力”的关键基础设施。加速芯片的峰值算力只是理论上限，能否转化为实际训练吞吐，取决于互联网络的带宽、时延与稳定性。
• 使用视角：工程上通常将其分为两层——Scale-up（纵向扩展，节点内/机柜内高带宽域）与Scale-out（横向扩展，跨节点集群网络）。

原始话题中“十万卡集群、百万条链路”的表述，指向的正是这一层位于加速芯片之下、通用IT网络之上的专用互联体系；而“高毛利”的说法，则反映了该环节的技术壁垒与供给格局，本文将在后文中性解读。

二、背景与价值：为什么互联是十万卡集群的命门

第一，模型规模驱动集群规模。千亿乃至万亿参数的大模型预训练，需要数万张加速卡连续协同数周甚至数月。集群越大，单点故障、性能抖动、慢链路造成的影响就越容易被放大。

第二，并行策略放大通信压力。现代训练普遍组合使用多种并行策略：张量并行要求极低时延与极高带宽；数据并行依赖AllReduce等集合通信原语同步梯度；混合专家（MoE）架构进一步引入高频AllToAll通信。通信开销直接决定模型算力利用率（MFU）——网络慢10%，等效于白白损失大量昂贵算力。

第三，规模引发质变。链路数量线性增长，故障概率随之上升。在一个拥有百万条链路的集群中，“每天总有若干条链路在劣化”是工程常态而非例外。互联体系必须内建诊断、遥测与自愈能力，否则运维成本将随集群规模失控。

第四，互联是“算力税”。行业普遍经验是，网络与互联相关投入约占AI集群总成本的10%~20%，但它决定了其余大部分算力投资能否有效产出。这笔“税”缴得值不值，直接体现在训练效率与交付周期上。

三、核心组成：百万链路由什么构成

分层拆解AI集群互联的关键部件：

1. 节点内互联：PCIe交换芯片负责在CPU与加速卡、高速网卡、存储设备之间扩展通道；PCIe重定时器（Retimer）负责修复长距离走线造成的高速信号衰减。
2. 机柜内Scale-up域：高速背板、铜缆与有源电缆构成高带宽、低时延的加速域，让一组加速卡在语义上接近紧耦合的共享系统。
3. 集群级Scale-out网络：400G/800G高速网卡、支持RDMA的以太网交换机、CLOS/胖树多层拓扑以及轨道优化设计，负责把成千上万个节点连成统一集群。
4. 辅助网络：高性能存储网络、带外管理网络和链路遥测网络。

“十万卡≈百万链路”的数量关系可以这样理解（示意性估算）：

假设：100,000 张加速卡，约 12,500 台 8 卡服务器
- Scale-out：每卡 800G 出口带宽（如 2×400G）
  → 服务器到 Leaf 层约 20 万条物理链路
- Leaf→Spine 层按 1:1 收敛比
  → 再增加约 20 万条
- Scale-up：每张卡通过数十条高速 SerDes 通道
  与同域其他卡互连 → 仅此一层即达百万级通道
- 叠加存储网络、带外管理网络的链路
→ 全集群物理链路与高速通道总量达到百万量级

具体数值因架构而异，但量级关系是稳定的：集群规模每一次跃升，互联链路数量都会以更高倍数增长。

四、工作原理：信号如何稳定跑完百万链路

1. 速率演进的物理挑战。以PCIe为例，速率从5.0代的32GT/s演进到6.0代的64GT/s，并引入PAM4调制。单通道速率翻倍的同时，信道插损急剧增加，无源走线的有效传输距离大幅缩短，速率越高，信号完整性问题越突出。

2. 重定时器：链路上的“数字中继站”。重定时器在链路中执行信号再生：接收端通过均衡算法恢复信号波形，完成时钟数据恢复，再以干净的波形重新发送。它与仅做模拟放大的重驱动器（Redriver）有本质区别——后者无法消除抖动累积，适用场景非常有限。

3. 铜与光的分工。机柜内及相邻机柜优先采用铜互连，功耗与成本显著更低；跨机柜长距离则使用光模块。有源电缆在铜缆两端集成重定时功能，进一步延伸铜的适用距离，是机柜间互联的常见折中方案。

4. 从“管道”到“智能部件”。新一代互联芯片不只是被动传输信号，还承担链路训练、协议握手、误码统计与健康度上报等职能。在百万链路规模下，这种可观测性是运维可行性的前提。

5. 冗余与自愈。集群网络通过ECMP等价多路径、链路降级重协商、故障链路旁路等机制，把单条链路故障的影响限制在局部，避免训练任务因个别链路劣化而中断。

五、典型场景

1. 大模型预训练：集合通信密集，网络质量直接决定训练周期与总成本。
2. MoE与分布式推理：专家路由引入高频AllToAll通信，推理阶段的KV Cache跨节点迁移同样依赖高带宽、低时延互联。
3. 高性能计算：气象、流体力学、分子模拟等科学与工程计算，通信模式与AI训练高度相似。
4. 数据吞吐密集型作业：训练数据加载、检查点保存与恢复，需要独立的存储网络支撑。
5. 液冷新一代数据中心：高密度机柜内铜互连在布线与传热上具备工程优势，是机柜级设计的重要考量。

六、相关概念区别

• Scale-up与Scale-out：前者追求极限带宽与时延，可连接的卡数受限；后者追求覆盖范围与扩展性，时延相对较高。两者互补，共同构成集群互联整体。
• 重定时器、重驱动器、有源电缆与光模块：分别对应“数字信号再生”“模拟信号放大”“集成再生功能的铜缆组件”“光电转换的长距方案”，适用距离与成本依次变化。
• 通用以太网与AI优化以太网：后者在标准以太网基础上强化拥塞控制、自适应路由与RDMA支持，针对集合通信的流量模式做了专门优化；另一条路线是基于专用协议的高性能网络，两者在成本与生态上各有取舍。
• 互联芯片与加速芯片：互联芯片不直接生产算力，但决定算力能否兑现，可理解为“算力的粘合剂”。

七、使用注意事项

选型阶段：注意协议代际匹配（如PCIe 5.0与6.0器件不可简单混用）、信号完整性仿真验证、拓扑收敛比设计，避免网络成为隐性瓶颈。

部署阶段：百万链路的布线是巨大工程——标签体系、光纤弯曲半径、连接器端面洁净度、走线与散热的协同，任何一环疏漏都会在后期以“疑难杂症”的形式暴露。

运维阶段：建立链路级误码率监控与趋势分析，推行预测性更换而非被动报修；保持固件版本一致性，避免混版本引入的兼容性问题；为高故障率部件预留合理备件。

云上选项：对于希望聚焦模型研发而非基础设施的团队，可直接使用云上的异构计算集群类服务（例如通过百度智能云的AI计算与云网络相关产品类目），把互联拓扑设计、布线工程与链路运维交给平台处理，按需取用规模化算力。

八、产业逻辑：为什么“百万链路”能撑起高毛利

原始话题提到，专注AI互联的芯片设计企业可以维持约75%的毛利率。剔除个案因素，这一现象背后有清晰的产业逻辑：

1. 技术壁垒高：高速SerDes属于数模混合设计的尖端领域，信号完整性工程经验难以速成；
2. 认证周期长：进入大型服务器供应链需要漫长的验证与生态磨合，切换成本高，客户粘性强；
3. 代际迭代快：协议速率大约每两三年翻倍，产品需要持续高强度研发投入，先发者优势明显；
4. 供给格局集中：具备量产能力的参与者有限，供需阶段性紧张支撑了定价能力。

同时也应看到风险面：代际切换可能重塑竞争格局，客户集中度较高，更大的竞争者也可能向该环节延伸。高毛利本质上是技术壁垒与供需关系的阶段性结果，而非永久属性。

九、总结

回到定义本身：AI集群互联是把十万卡级算力从“一堆服务器”变成“一台计算机”的那套高速链路与芯片体系。它由节点内PCIe互联、机柜内Scale-up域与集群级Scale-out网络三层构成，依靠重定时器、铜光混合布线、多层交换与智能遥测，在百万条链路的规模上维持信号质量与系统可用性。对超大集群的建设者而言，互联不是配套工程，而是与算力同等级的一等公民；对普通使用者而言，理解互联的基本原理，也有助于在自建与上云之间做出更合理的工程与成本决策。