简介:本文对比两类AI算力方案:把整片晶圆做成单颗大芯片的晶圆级计算方案,以及由多颗通用加速芯片通过高速网络互连构成的多芯片集群方案。文章从架构形态、片上存储与通信路径、延迟与吞吐特征、扩展方式、软件生态、成本与物料清单结构、运维与安全合规等维度拆解二者差异,给出场景化的选型思路与迁移注意事项,帮助架构师和开发者在推理链路上做出条件化判断。
过去几年,大模型推理的负载画像发生了明显变化:模型参数持续增大,上下文窗口拉长,业务侧从”能出结果”转向”首字延迟可感知、流式输出不卡顿、高峰期P99不抖动”。这类负载的特征是单请求并行度低、访存密集、对通信同步极其敏感,而传统的多加速芯片集群方案在设计时更多考虑了训练场景的吞吐与可扩展性,用张量并行、流水并行把一个大模型切开、分散到多张卡上,再靠高速互联把中间结果传回来。切分带来了弹性,也带来了通信开销、气泡等待和调优复杂度。
正是在这个背景下,业内出现了一条不同的技术路线:不再把计算分散到多颗芯片,而是把整片晶圆直接做成一颗芯片,让”卡间通信”变成”片内通信”。围绕这条路线,常见的关注点集中在几件事上:它的系统架构有什么特殊之处、物料清单的成本构成和传统方案相比如何变化、在什么条件下它更容易在快速推理上取得优势,以及它有哪些无法回避的局限和权衡。本文就把这条路线(下称方案A:晶圆级计算方案)与成熟的多芯片集群路线(下称方案B:多芯片集群方案)做系统对比。
方案A:晶圆级计算方案。 其核心思路是把一整片晶圆的可用面积都用于集成计算核心与片上存储,形成单颗面积远超常规芯片的器件。由于芯片面积越大、出现缺陷的概率越高,这类方案通常需要在物理设计上内置冗余计算单元与可重构的片内互连,让缺陷单元被自动旁路;器件本身不以”可插拔板卡”的形式存在,而是与供电、液冷、机柜、管理与调度软件集成为一个整机形态的系统对外提供服务。它的典型工作方式是”权重流式加载”:模型权重常驻片上存储或由片上通道持续供数,激活值在片内流动,尽量不在器件之间做跨节点同步。
方案B:多芯片集群方案。 由若干台通用服务器组成,每台服务器挂载多颗通用加速芯片,服务器之间通过高速网络(以及网络设备、光模块等)互联,上层由调度系统、容器平台、模型服务框架统一管理。大模型通过张量并行、流水并行或专家并行被切分到多颗芯片上,每次前向计算都包含一次或多次跨芯片/跨节点的通信。
需要强调的是,两者并不是”新旧替代”关系,而是在通信位置、资源粒度和扩展方式上做了不同取舍的两条工程路径。
1)架构与通信路径。 这是最本质的区别。方案B的通信发生在芯片与芯片、节点与节点之间,需要显存与网络带宽搬运中间激活,通信量随并行度上升,拓扑、集合通信算法、超时与故障重传都会成为调优对象。方案A把绝大部分通信收敛进片内互连,跨节点通信只发生在”多台整机之间”,在单台整机可容纳模型的前提下,通信开销和同步等待大幅减少,时延抖动更可控。
2)存储容量与模型适配边界。 方案A的优势来自片上存储容量大、带宽高,能让相当规模的模型权重直接驻留,避免频繁换入换出;但这份容量在器件出厂时已经固定,单个模型的规模上限也就被框定了。方案B的显存容量可以通过增加芯片数量线性叠加,理论上支持任意大的模型,代价是并行切分与通信。
3)扩展方式。 方案A是”整机为粒度”的纵向扩展,单机能力很强,横向扩容则退回到多机互联,此时网络瓶颈会以另一种形式重新出现。方案B天生是横向扩展模型,弹性伸缩、多租户共享、任务排队与抢占都更成熟,非常适合负载波峰波谷明显的在线业务。
4)性能特征。 方案A更擅长低延迟、小批量、强交互的推理:首字延迟与逐字输出的间隔更短、更平稳。方案B在大吞吐、离线批处理、超大模型分布式训练上更具优势,通过增大批量可以把加速芯片的算力利用率推高,摊薄单位token成本。要注意的是,两者优劣都来自通信位置与批处理策略的差异,而非笼统的”谁更快”,任何结论都必须用真实业务负载实测。
5)软件生态与改造量。 方案B建立在通用加速芯片的成熟生态上,主流深度学习框架、算子库、推理引擎、量化工具、可观测性组件的适配度高,团队学习曲线平缓。方案A通常需要遵循其专有编程与编译流程,算子支持范围、模型结构兼容性、动态控制流与自定义算子的支持度都需要逐项确认,往往是新业务上线的主要风险点。
6)成本与物料清单结构。 做一个不含具体价格的定性拆解:
| 成本项 | 方案A:晶圆级计算方案 | 方案B:多芯片集群方案 |
|---|---|---|
| 计算器件 | 单器件面积大、内含冗余设计,单价高 | 单卡单价低,按数量线性叠加 |
| 网络相关 | 单机内通信为主,交换机与光模块用量少 | 卡数越多,网络设备、光模块、线缆占比越高 |
| 结构件与制冷 | 专用机柜、液冷组件、供电改造投入高 | 以通用服务器风冷为主,高密度时同样需要液冷 |
| 电力 | 整柜功率密度高,长期电费与PUE敏感 | 单机功率低,但集群总量随规模增长 |
| 软件与服务 | 专有软件栈、编译调优与服务支持 | 开源与商业组件丰富,人力获取相对容易 |
| 冗余与容灾 | 单台整机故障影响面大,需整机级冗余 | 单卡故障影响局部,替换与降级相对容易 |
| 迁移与锁定 | 专有接口多,退出成本较高 | 生态标准,跨平台迁移相对可控 |
这张表解释了两个常见疑问:为什么方案A的网络相关成本占比更低——因为它把通信放在了片内;为什么它的总价不一定更便宜——因为器件、结构件、制冷与冗余成本的权重大幅上移。
7)运维复杂度。 方案A的运维对象少而集中,一台整机即一个故障域,监控、告警、容量规划的维度相对简单,但故障恢复手段有限,往往需要整机下线。方案B运维对象多、层次多(芯片、节点、网络、调度、服务),可观测性和自动化能力必须成体系,否则排障成本很高。
# 方案B:模型切分到N颗加速芯片,每层前向都包含跨卡通信place(model, devices=chip[0..N-1], strategy=TensorParallel + PipelineParallel)for token in stream:for layer in model.layers:x = layer.compute(local_shard) # 本地分片计算x = collective_allreduce/allgather(x) # 跨卡通信 + 同步等待logits = head(x)emit(token) # 延迟 = 计算 + 每次通信 + 流水线气泡# 方案A:整机内单器件承载模型,权重流式供数,片内流动load(weights, residency=on_die_or_streaming)engine = compile(model, target=wafer_device) # 编译期完成算子与路由规划for token in stream:logits = engine.forward(x) # 无跨节点集合通信,激活在片内流动emit(token) # 延迟主要取决于片内访存与计算
这段伪代码要说明的不是语法,而是延迟的构成来源不同:方案B的时延里天然包含通信与同步项,方案A把这些项压缩到片内,因此对小批量、单请求的交互式推理更友好。
方案A与方案B的根本分歧不在算力大小,而在把通信放在片内还是放在片间。片内通信带来了低延迟、低抖动和更简单的并行编程模型,让晶圆级方案在快速推理场景具备结构性优势;代价是单整机容量上限固定、扩展颗粒度粗、生态适配面窄、结构件与制冷成本高、故障影响面大。片间通信带来了几乎无限的横向扩展能力、成熟的软件生态与更灵活的共享调度,代价是通信开销、同步等待与分布式调优复杂度,这些在小批量、强交互的推理链路上会直接体现为时延与抖动。
因此选型的关键动作是先定义业务指标,再匹配架构特性:延迟敏感、批量并发不高、模型规模落在单整机容量内时,重点评估方案A;训练为主、模型规模大、负载需要弹性伸缩与多租户复用时,优先选择方案B;多数企业最终会形成”在线低延迟用晶圆级、训练与离线用通用集群”的混合格局,并在网关、可观测性与安全策略层面统一治理。