简介:国产算力竞争正从单卡峰值转向系统吞吐。本文对比单卡性能导向与系统能力导向两类路径,梳理通用GPU与专用架构的异同、PD/AFD分离适用场景、软硬件协同要点及选型边界,帮助架构师在吞吐、适配成本与运维复杂度间做条件化判断。
本文对比的核心对象,是国产通用GPU(GPGPU)领域中两类常见建设思路:以单卡峰值性能为中心的选型路径,以及以芯片、软件、互连与业务负载协同后的系统能力为中心的选型路径。前者关注单颗芯片在基准算子上的表现;后者关注相同投入、相同业务质量约束下,端到端能产出多少 Token、生成多少秒视频,以及算法迭代时能否快速适配。
下文先交代对比背景,再分别定义对象,随后从架构、功能、接入、性能评价方式、运维与成本、适用场景等维度展开,并给出条件化选型建议与迁移注意点。文中不涉及任何具体厂商、型号或第三方品牌,性能表述仅采用“第三方实测口径下可比”这类中性说法,不编造数值。
当前大模型与多模态业务仍处在算法快速迭代阶段。即便同一团队、不同版本模型,计算特征、算子结构、Prefill/Decode 比例、访存与通信瓶颈都可能变化。若仅按“同架构迁移、单卡打分”采购,容易出现:
因此,行业诉求已从“相同指令集上的简单迁移”,转向全栈能力:通用计算底座 + 针对重点负载的软硬件协同 + 可编排的异构分离。通用性仍是底层需求:专用架构与大型企业自研定制芯片各有价值,但在未来几年,业务形态不确定时,可组合、可快速适配的通用 GPU 架构仍被广泛需要。
方案 A:单卡性能导向
把 GPU 视为独立部件,以单卡算力、带宽、能效、兼容某类主流软件栈为主要决策依据。部署上多为“卡插进现有服务器”,软件以驱动、基础算子库、框架插件为主。适合对标公开基准、快速完成 POC、负载相对稳定的场景。
方案 B:系统能力导向
把 GPU 视为系统中的一个部件,与主机内存、存储、网络、卡间互连、调度与编译栈一起设计。评价口径是:相同投入与质量要求下的业务产出(Token/s、视频秒数、并发会话数)。可在通用模块上耦合专用加速单元,既可片内集成,也可通过 PD 分离、AFD 分离等做分布式异构编排。产品设计从客户业务演进与未来算力需求倒推,针对计算、访存、通信瓶颈做协同优化。
二者并非互斥:系统能力仍建立在单卡物理能力之上;差异在于优化边界与验收指标从芯片扩展到整机与集群。
相同点说明:不能把“系统能力”理解成可以忽略芯片本身;也不能把“单卡很强”理解成上线即最优。
单卡导向的系统边界止于芯片与板卡:功耗、散热、驱动兼容是主线。系统导向把边界拉到:主机侧内存层次、存储与检查点、东西向网络、卡间互连拓扑、PD/Decode 与 Attention 的部署切分。GPU 被明确视为部件,最终可用性取决于各环节匹配。
通用 GPU 并不天然偏向 Prefill 或 Decode。其价值更接近“可重组积木”:业务与算法变化时,用通用模块加可选加速单元重新组合。专用架构在固定流水上效率更高,但算法漂移时改造面更大。行业主流路线也在强化通用底座上的灵活组合,而非把业务锁死在单一专用数据通路。
系统导向常见三层异构协同(概念层,非某产品专有能力):
这些可以片内耦合,也可以跨节点分布式编排,关键是调度与编译能否把切分落到实处。
| 维度 | 单卡性能导向 | 系统能力导向 |
|---|---|---|
| 优化重点 | 单卡算子、峰值带宽、能效 | 计算+访存+通信全链路,业务产出 |
| 异构手段 | 较少,或仅卡内固定加速 | 片内耦合或 PD/AFD 等分布式编排 |
| 软件深度 | 驱动与基础库 | 编译、调度、切分策略、与存储网络协同 |
| 验收指标 | 基准分数、单卡吞吐 | 同等投入下的 Token/视频产出与 SLA |
| 算法迭代 | 依赖框架层适配 | 强调积木式重组与负载倒推设计 |
| 使用边界 | 系统短板时峰值无法兑现 | 依赖全栈成熟度,初期集成更重 |
单卡导向功能覆盖“算得快”;系统导向覆盖“用得起来、跟得上变化”。后者并不自动拥有更多算子,而是把瓶颈识别与协同优化做成产品能力的一部分。
单卡路径:换卡、装驱动、对齐框架版本,POC 快。风险是业务流水线(KV Cache 布局、流水并行、投机解码、多模态预处理)未改时,收益有限。
系统路径:除驱动外,可能涉及:
改造量更大,但换来的是把“系统短板”纳入可控范围。团队若只有应用层经验、缺少集群与编译能力,接入成本会明显高于单卡换代。
合理对比应坚持:
公开信息中可见:在典型 PD 分离部署下,有国产新一代通用 GPU 经第三方实测,折算单卡整体端到端吞吐达到某国际主流产品的可比水平。这只能说明在该部署与该负载下系统能力可对标,不能外推为所有场景单卡绝对领先。选型时应要求可复现的测试说明,而不是单一倍数。
专用架构可能在极窄流水上给出更高能效,一旦批大小、上下文长度、投机策略变化,优势可能收窄。通用架构的价值是变化发生时仍能重组,而不是每一项微基准都最高。
安全与合规对两类方案是共性要求:身份与密钥、租户隔离、镜像与驱动供应链、审计日志、数据落盘加密。系统导向因切分与跨池通信增多,需额外关注:跨节点传输中的模型与 KV 保护、调度面权限、故障域隔离(某一 Decode 池故障不应拖垮全部 Prefill)。
运维差异:
成本上不要对比“卡单价”单一项。应看:有效 Token 成本、人力(编译/集群/应用)、迁移窗口、长期跟随算法迭代的改造次数。系统方案前期集成与人力更高,若负载长期稳定、规模不大,可能不如单卡路径划算;若规模大且模型频繁升级,系统效率提升可能摊薄单卡溢价。
更适合单卡性能导向的情况
更适合系统能力导向的情况
需要谨慎评估的边界
从单卡堆叠迁到系统化部署时,建议分阶段:
示意性编排逻辑(伪代码,非任何厂商接口):
# 按负载特征将请求拆到不同算力池if request.is_prefill:place(request, pool="compute_heavy")elif request.is_decode:place(request, pool="memory_heavy")if request.attention_bound:place(request.attn, pool="afd")# 以业务 SLA 而非单卡利用率作为扩缩容信号scale(pool) if p99_tpot > sla or queue_depth > threshold
国产通用 GPU 的竞争焦点,正在从单卡纸面性能转向系统兑现能力:芯片只是部件,客户关心的是同等投入下的业务产出,以及算法变化后的适配速度。单卡导向与系统导向目标相同,差异在于系统边界、验收口径、异构编排深度和运维成本结构。通用架构像乐高,便于把通用模块与专用加速灵活耦合,并用 PD、混合训练、AFD 等手段做分布式编排;专用架构在窄场景仍有价值,但不能覆盖不确定的迭代。
选型上没有绝对赢家:规模小、负载稳、团队轻,可先把单卡与兼容性做实;规模大、SLA 严、模型常变,应把互连、存储、调度与编译纳入方案,用可复现的端到端口径决策。回到本文主题——比的不是谁的卡更亮眼,而是谁能在真实系统里把算力变成稳定、可演进的业务结果。