一、对比背景:工作负载变了,数据通路成为瓶颈
近年来,AI训练与推理的负载特征发生了明显变化。应用重心正从“计算密集型”向“数据密集型”迁移:模型规模持续扩大,上下文长度不断拉长,高维向量检索、图计算、大规模特征处理等场景也日益普遍。计算需求仍可通过堆叠加速卡来满足,数据规模的膨胀却更难通过同样方式消化。
GPU的高带宽内存(HBM)提供了极高的访存带宽,但容量相对有限、单位成本较高。由此形成三个现实问题:
- 容量约束:许多数据集、参数表或知识库的规模远超单卡乃至单节点显存容量,难以全部常驻显存。
- 搬运开销:显存放不下时,程序需要在GPU显存与主机内存或存储之间反复搬运数据,CPU成为数据路径上的必经节点和潜在瓶颈。
- 成本压力:单纯依靠增加显存或增配GPU来扩展可访问数据空间,硬件成本高,扩展速度也跟不上数据增长。
在此背景下,行业中出现了让GPU直接访问基于闪存的存储、以闪存容量补充HBM容量、从而扩展GPU可访问数据空间的思路。这类思路的核心是让GPU直接发起存储I/O请求、绕过CPU,以降低延迟、提升IOPS。它与长期沿用的CPU中介式存储访问路径代表了两种不同设计哲学。本文对比的对象如下(原始材料涉及的具体厂商信息已做中立化处理):
- 对象A(GPU直连方案):GPU直连闪存的存储扩展架构。GPU直接向存储设备发起读写请求,数据在存储设备与GPU显存之间直接传输,CPU不参与每笔I/O的数据面处理。
- 对象B(CPU中介方案):传统CPU中介式存储访问路径。应用经操作系统内核向存储设备发起I/O,数据先进入主机内存,再通过拷贝或主机侧DMA搬运到GPU显存,CPU在数据面扮演调度者与搬运者。
需要澄清的是,“GPU直连”描述的是存储扩展能力,并不排斥GPU之间的高速互连或GPU与网络设备之间的直接传输。二者是不同层面的技术方向,只是在“GPU可绕过CPU访问什么资源”这一点上,它们代表了同一种设计取向。
二、对象定义:两条路径分别解决什么问题
2.1 对象A:GPU直连闪存存储扩展架构
基本思路:将闪存纳入GPU可访问的数据层级,使显存不再是数据访问的物理边界。按原始材料披露,其核心特点包括:
- GPU侧发起I/O:GPU可直接向存储设备提交I/O请求,绕过CPU,旨在降低端到端延迟、提高IOPS。
- 通用协议与接口:基于NVMe/PCIe等业界通用协议与接口,并支持较新的PCIe接口代际(原始材料提到支持PCIe Gen6)。
- 细粒度访问:支持512字节粒度的数据访问。传统块设备 I/O 多以4KiB为基本单位,面向512字节粒度访问的设计更适合随机、小粒度的读取模式。
- 目标性能:原始材料给出的目标性能约为每GPU 200 MIOPS(百万次I/O每秒)量级。需要强调,这是架构目标值,而非普遍实测结果;实际表现受具体配置、软件版本和工作负载影响。
- 软件栈支撑:需要配套的软件栈,为上层应用提供与现有编程模型对接的接口。原始材料提及“包括相关软件栈”,具体组件范围以其官方文档为准。
要解决的问题:HBM的容量与成本限制,以及随之而来的GPU可访问数据空间扩展难题。它的定位是在显存之下增加一层高带宽、低延迟、可细粒度访问的存储层,让GPU以更低的搬运代价访问超出显存容量的数据。
一个容易混淆的概念:这里的“存储扩展”指扩展GPU可寻址的数据容量,并非把闪存当作字节可寻址的主存直接嵌入统一内存模型。对开发者而言,更合理的预期是“一层高速、可细粒度访问的存储层级”,而不是“显存的透明替代品”。
作用边界:“绕过CPU”不等于“脱离CPU”。GPU的初始化、设备枚举、固件加载、异常恢复等控制面工作仍由CPU侧承担,CPU不再参与的主要是每笔I/O的数据面搬运。
2.2 对象B:传统CPU中介式存储访问路径
基本流程:CPU在控制面负责设备发现、驱动加载与故障处理;在数据面执行以下典型流程:
- 应用(CPU侧)通过系统调用或内核异步I/O接口向文件系统或块层提交读写请求;
- 数据先落入主机内存缓冲区;
- 数据再经显式拷贝或主机侧DMA进入GPU显存;
- 应用收到完成信号后,在GPU侧使用数据。
要解决的问题:在通用操作系统上,为所有应用提供稳定、统一、具备完整文件语义的存储访问能力。由于数据面完全经由内核,CPU可以天然地完成权限校验、I/O限速、缓存管理和访问审计。
现实约束:CPU的核数、单核I/O处理能力、内存带宽以及PCIe链路,共同构成数据搬运的上限。GPU算力越强,CPU越容易成为数据供给的瓶颈,大规模、小粒度随机访问场景尤为明显。
2.3 容易被忽略的参照项:CPU侧内存中介路径
GPU直连并不是唯一 alternatives。工程实践中常见一类折中做法:CPU线程通过统一虚拟寻址等通用编程接口,访问注册到主机内存中的缓冲区,数据在GPU与主机内存之间由驱动隐式迁移,I/O发起方仍是CPU。
- 它与CPU中介方案共享同一条存储I/O通路,差别在于GPU侧数据何时、以何粒度进入显存。
- 与GPU直连方案相比,它没有消除CPU对数据面的参与,但改造量小,在数据量适中时往往足够。
因此,更完整的决策链条通常是:先判断“数据能否放进显存”,再判断“由GPU还是CPU发起I/O”。
三、相同点:两类方案为何放在一起比较
- 目标一致:都为了突破显存容量天花板,让GPU能够处理超出HBM容量的数据;GPU直连以扩展GPU可访问空间为目标,CPU中介则以主机侧大容量存储为数据源。
- 协议基础同源:都建立在NVMe/PCIe等业界通用协议与接口之上。闪存设备本身的能力不因访问路径改变,差异主要来自数据面由谁发起、经过哪些环节。
- 内存层级定位相似:都是显存之下、主机内存附近的数据层级,都属于“容量大、延迟高、带宽低”的相对慢速层,实际收益都取决于访问局部性与数据复用率。
- 对软件栈的依赖相似:都需要驱动、运行时、通信库与编程接口配合。GPU直连方案只是把接口能力下沉到更靠近设备的层次,并非可以脱离软件栈裸跑。
- 受相同的物理约束:两者最终都要占用PCIe链路带宽,都受闪存介质寿命、写放大、GC停顿等因素影响,都需要在性能、容量与成本之间权衡。
四、核心差异:八个维度的逐项拆解
4.1 数据路径:CPU参与多少,决定了开销构成
用伪代码对比两条路径的语义差异:
# 示意1:CPU中介方案def load_via_cpu(offset, size): host_buf = alloc_host_buffer(size) # ① 分配主机内存 submit_io(dev=storage, buf=host_buf, off=offset, size=size) # ② CPU发起I/O wait_completion() # ③ CPU等待或轮询完成 gpu_buf = gpu_malloc(size) copy_host_to_gpu(gpu_buf, host_buf, size) # ④ 额外一次搬运 return gpu_buf# 示意2:GPU直连方案def load_via_gpu_direct(offset, size): gpu_buf = gpu_malloc(size) # ① 显存侧直接作为I/O目标 gpu_submit_io(dev=storage, buf=gpu_buf, off=offset, size=size) # ② GPU发起 gpu_wait_completion() # ③ 完成信号回到GPU侧 return gpu_buf
可以看出,两条路径的差别集中在两点:
- CPU中介方案需要额外一次跨总线搬运。端到端延迟大致由“存储访问时间 + 协议处理时间 + 拷贝时间 + 排队时间”构成,并叠加CPU调度抖动。
- GPU直连方案省掉了搬运环节,但它并非“没有开销”:GPU仍需发起请求、等待完成,开销从CPU转移到了GPU的驻留资源与软硬件链路效率上。
两者的工程含义可以归纳为三条:
- 粒度越细,差距越明显:在512字节、4KiB这类小粒度请求中,单笔数据的传输时间很短,协议开销、调度延迟和搬运开销占比很高。减少中间环节时,单位时间可完成的请求数提升更明显。
- 顺序大块场景差距收窄:读写128KiB乃至MB级连续数据时,瓶颈更多在介质带宽和链路带宽,拷贝可以被流水线化。此时两条路径的带宽差距,往往小于延迟差距。
- CPU作为共享资源:GPU直连可以减少CPU参与,但CPU仍要服务网络接收、数据预处理、调度决策等工作。这部分负载能否与之并行推进,才是整体吞吐是否提升的关键。
4.2 协议与接口:谁发起请求,谁就要承担语义
- 命令归属不同:CPU中介方案下,读写命令由内核块层构造,文件系统、块层缓存、I/O调度器等环节天然可用;GPU直连方案下,命令构造与提交需要由GPU侧驱动或运行时完成,主机侧的传统I/O栈在这条数据通路上基本不参与。
- 细粒度访问带来双重效应:512字节粒度让GPU无需为了取几KB数据而读入整个4KiB块,从而减少无效带宽消耗,更契合随机访问。但细粒度也意味着同样数据量下的请求数量成倍增加,对命令提交与完成通知机制提出更高要求。这是原始材料将“512字节细粒度”与“每GPU数百MIOPS目标”并列的原因:目标IOPS能否达成,高度依赖细粒度请求的组织效率。
- 接口代际提供上限:原始材料明确提到支持PCIe Gen6。越新的接口代际,理论链路带宽越高,为IOPS和吞吐提供更大上限。但链路带宽只是上限,实际收益还取决于设备侧能力、拓扑结构以及GPU与存储设备是否挂在同一交换结构之下。
- 文件语义需自行补齐:GPU直接访问闪存时,通常更接近块设备层面的访问。主机侧文件系统提供的路径管理、权限元数据、稀疏文件、快照等能力,需要在上层另行实现,或者由GPU直连方案专门支持文件接口。设计应用的数据布局时,这一点必须提前考虑。
4.3 性能特征:IOPS、延迟与带宽的“三角权衡”
评估两条路径时,应分别衡量以下指标,而不是只看某个单项:
- IOPS:单位时间内完成的I/O请求数,对细粒度随机访问敏感。对象A的设计目标正是提升这一指标。
- 延迟:包含排队、介质访问、协议处理与传输等环节。小粒度场景下,端到端延迟中固定开销占比高,GPU直连在理论上更有条件压缩这部分开销。
- 带宽:大块顺序读写更看重此项,主要受介质能力与链路带宽约束。
- 稳定性:长尾延迟(如P99、P99.9)往往比平均值更影响训练与推理的端到端时延。GPU直连路径缺少内核I/O调度器的缓冲,存储端的突发抖动可能更直接地传导至GPU侧,因此对设备侧QoS能力要求更高。
一个实践判断是:如果你的负载以“小粒度、高并发、强随机”为主,GPU直连的设计目标更贴合需求;如果以“大块顺序吞吐”为主,CPU中介方案经过多年优化,通常已能满足要求,迁移的边际收益有限。
4.4 容量与成本结构:性能、容量与单位成本的三角
GPU直连方案的初衷之一,是缓解HBM的容量与成本问题,其成本结构与传统方案有本质不同:
- 单位容量成本:闪存的单位容量成本显著低于HBM。以闪存承载温数据、冷数据,整体硬件成本通常低于通过增加HBM或GPU数量来扩容。
- 性能与容量错配:闪存带宽与延迟与HBM存在数量级差距,不能简单按“容量更大”来等价替换。实际系统往往是“HBM + 直连闪存 + 主机内存/分布式存储”的多层结构,数据 placed 在哪一层,直接决定成本效益。
- 隐性成本:GPU直连方案还需要额外的驱动与软件栈支持、对硬件代际与拓扑的特定要求,以及团队的学习成本。在小规模部署中,这些固定成本可能抵消容量成本带来的节省。
- 介质寿命:细粒度小写入会加剧闪存的写擦除压力。若负载写多读少,需要关注设备的耐久度指标(如DWPD)与磨损均衡机制。
4.5 扩展性、资源管理与故障域
- 扩展单元不同:CPU中介方案下,CPU、内存、存储与GPU可各自独立扩容,扩容粒度灵活;GPU直连方案的资源配比通常需要在GPU与直连存储之间按一定比例配置,调整成本更高。
- 资源绑定更强:直连意味着数据通路与特定GPU、特定存储设备绑定更紧,GPU计算任务调度的灵活性可能受到影响,尤其当任务需要跨节点迁移、而数据仍留在原节点直连存储上时。
- 故障传导更直接:主机侧驱动或存储I/O栈出错时,CPU中介方案通常能以内核错误处理机制兜底,进程可感知错误并降级;GPU直连路径的异常需要由GPU侧软件栈捕获并恢复。若无完善的错误处理,单点故障可能直接中断GPU计算。
- 多设备竞争:多块GPU共享同一存储设备时,GPU直连方案更需要借助设备侧QoS、分区等手段避免相互干扰。
4.6 安全与合规:绕过CPU之后,隔离靠什么
这是容易被低估的差异。CPU中介方案的I/O天然经过内核,访问控制、I/O限速、审计日志等能力可复用于所有应用。GPU直连方案让数据面不再经过内核,这些能力的落点需要重新规划:
- 身份与权限:GPU发起I/O时,“谁有权访问这块存储”的校验从内核扩展到了驱动、固件与运行时,需要确保GPU侧身份与主机侧身份体系一致,避免出现权限旁路。
- 隔离机制:虚拟化或容器环境中,需要借助IOMMU、设备直通、存储多路径隔离等手段,确保不同租户的GPU不能越过边界访问彼此的数据。
- 数据保护:静态加密、传输加密策略需要覆盖直连通路。主机侧文件系统提供的加密能力在GPU直接访问块设备时不再自动生效,需要在设备侧或应用侧补齐。
- 审计与可追溯:绕开内核后,I/O级审计日志可能缺失,合规场景下需要评估是否保留审计钩子或在应用层记录关键访问。
4.7 软件栈与接入成本:改造量集中在“接口层”
- CPU中介方案:生态成熟,接口稳定,绝大多数深度学习框架、数据处理库与存储客户端默认支持,应用层通常无需感知底层存储路径。
- GPU直连方案:需要GPU侧驱动、存储设备固件与运行时协同工作。应用需要改用能感知直连存储的接口,涉及数据缓冲区注册、地址映射、请求提交与完成通知等。改造主要集中在数据加载层,但会触及训练、推理框架与现有数据管线的对接。
- 可移植性:直连接口与具体硬件代际、驱动版本绑定更紧。跨平台迁移时,需要保留CPU中介路径作为回退方案,避免被单一硬件环境锁定。
# 示意3:通过统一接口屏蔽两条路径差异(伪代码)class StorageLayer: def __init__(self, mode): self.mode = mode # "direct" 或 "cpu" def fetch(self, key): desc = self.resolve(key) # 返回位置、长度等描述信息 if self.mode == "direct": return gpu_direct_read(desc) # 依赖驱动与运行时支持 else: host = cpu_read(desc) # 通用内核路径 return copy_to_gpu(host) # 显式搬运
对多数应用而言,合理的做法是先在数据加载层抽象出统一接口,再按运行环境选择实现,把对特定硬件的依赖限制在最小范围内。
4.8 运维与可观测性
- 监控指标:CPU中介方案可复用内核与存储系统的成熟指标;GPU直连方案需要新增GPU侧I/O指标(发起量、完成延迟、失败率),并打通GPU与存储两侧的监控视图。
- 容量规划:直连架构下,“HBM命中率”“直连层命中率”“主机侧回退比例”等分层指标是容量规划的关键依据,传统只关注磁盘利用率的思路不再适用。
- 故障恢复:GPU直连路径的故障处理链路更长,需要明确超时、重试、降级到CPU路径等策略,并通过演练验证。
- 版本升级:驱动、固件与运行时需要协同升级,升级窗口与回滚方案应提前规划。
五、关键差异对比表
| 对比维度 |
对象A:GPU直连方案 |
对象B:CPU中介方案 |
| 数据路径 |
GPU直接发起I/O,数据在存储设备与GPU显存间传输 |
应用→内核→存储→主机内存→GPU显存,存在额外搬运 |
| CPU参与度 |
数据面基本不参与,仅承担控制面 |
深度参与调度、搬运与缓存管理 |
| 细粒度访问 |
面向512字节粒度设计,契合随机小粒度访问 |
多以4KiB及以上块为单位,粒度更粗 |
| 性能关注点 |
IOPS与端到端延迟,目标为每GPU数百MIOPS量级(目标值) |
吞吐与稳定性,路径成熟、行为可预期 |
| 容量扩展方式 |
以闪存容量补充HBM容量 |
以主机内存与主机侧存储为扩展来源 |
| 单位容量成本 |
显著低于显存,但有硬件配套与学习成本 |
通常最低,设备通用性强 |
| 软件栈要求 |
依赖GPU侧驱动、设备固件与运行时协同 |
依赖通用内核与成熟生态 |
| 安全与隔离落点 |
驱动、固件与设备侧,需额外补齐隔离与审计 |
内核实边,可直接复用访问控制与审计 |
| 故障域 |
与GPU、存储设备绑定更紧,异常传导更直接 |
相对独立,内核错误处理较完善 |
| 运维复杂度 |
较高,需新增GPU侧指标与协同升级流程 |
较低,监控与升级手段成熟 |
| 典型适用 |
数据远超显存、随机访问为主、GPU I/O压力大的场景 |
通用应用、数据可部分放入主机内存、追求稳定与低改造 |
六、典型场景选择
6.1 更适合考虑GPU直连方案的场景
- 超大参数与超长上下文推理:KV缓存、参数分片等数据规模超出显存容量,且访问模式带有明显随机性时,GPU直连有望减少“显存不足—回退主机—再搬回”的往返开销。
- 大规模检索增强与向量检索:候选集与索引规模巨大,单次查询只命中少量数据,小粒度随机读取占比高,与512字节粒度访问的设计目标契合。
- 高基数特征与参数表:推荐、广告等场景的特征表或嵌入表规模远超显存,训练与推理阶段需要频繁按索引取数,CPU侧I/O容易成为瓶颈。
- GPU算力充裕、I/O压力大:GPU侧计算能力远强于数据供给能力时,把数据面从CPU卸载出去,有助于让CPU专注于预处理与调度。
6.2 更适合保留CPU中介方案的场景
- 通用企业应用与数据处理作业:以CPU计算为主,或以大块顺序读写为主,GPU直连带来的边际收益有限,改造与运维成本不划算。
- 数据可放入主机内存的中等规模负载:当主机内存足以缓存热数据时,CPU中介路径已能满足需求,引入直连架构反而增加复杂度。
- 强隔离与审计要求场景:金融、政务等对访问审计、租户隔离要求严格的系统,优先保留经过内核的I/O路径,更容易满足合规检查。
- 异构与快速迭代环境:硬件代际不统一、应用迭代频繁时,通用路径的可移植性和稳定性更利于交付。
6.3 混合与分层:更贴近工程现实的选择
多数生产系统并非二选一,而是分层组合:
上层通过统一的数据访问接口屏蔽差异,按数据热度与访问模式动态迁移。这种结构既保留了直连方案在细粒度访问上的优势,又保留了通用路径的稳定与弹性。
七、选型建议:条件化的判断框架
不建议给出“谁一定更好”的结论,建议按以下顺序逐项判断:
- 先判断数据规模与显存的关系:数据能常驻显存时,两条路径都不必要;数据仅能部分驻留时,再进入下一步。
- 判断访问模式:以随机、小粒度为主,优先考虑GPU直连;以顺序大块为主,CPU中介方案通常够用。
- 评估CPU压力:监控CPU在I/O路径上的占用与排队情况,CPU已成瓶颈时直连方案价值更明显。
- 核算总体成本:综合硬件、软件栈适配、人力与迁移成本,而非只看单卡容量单价。
- 审视安全合规与运维能力:团队具备GPU驱动与存储运维经验,且合规要求允许数据面绕开内核时,再考虑直连方案;否则优先选择托管化程度更高的路径。
7.1 云上如何验证与选型
对于不具备自建GPU直连存储条件、或希望先验证价值的团队,可以先在云上完成 PoC 与基准测试,再决定是否引入直连架构。以百度智能云为例,可以从以下通用云产品类别入手:
- GPU云服务器与高性能存储:用于搭建测试环境,采集不同访问粒度下的延迟与IOPS数据,形成可对比的基线。
- 对象存储与并行文件存储:承载原始数据集与冷数据,验证分层访问的可行性与成本。
- 容器平台:以容器化方式封装训练与推理任务,便于在不同存储路径之间切换对比,也便于横向扩展。
- 身份认证与访问管理:统一GPU任务与存储资源的权限边界,为直连场景下的权限治理提供参考。
- 日志服务与监控告警:采集GPU侧与存储侧指标,支撑容量规划与长尾延迟分析。
需要说明的是,云上实例是否支持GPU直连存储,取决于具体机型、配置与所用基础镜像和驱动版本,应以官方文档与实测结果为准。对多数业务而言,先用通用云产品类别完成小规模验证,往往比直接改造生产环境更稳妥。
八、迁移与实施注意事项
如果决定从CPU中介方案迁移到GPU直连方案,建议重点关注以下风险:
- 数据迁移与一致性:直连架构通常直接访问块设备,需要明确数据布局、元数据管理与一致性校验方式,避免切换过程中出现数据错乱。
- 兼容性验证:GPU型号、PCIe代际、存储设备型号与驱动版本需要满足直连要求,建议在测试环境先做兼容性矩阵验证。
- 权限与安全边界:重新梳理GPU侧身份与存储访问权限,确认隔离与审计能力在直连路径上依然生效。
- 回退机制:保留CPU中介路径作为降级方案,当直连路径出现异常时能快速切换,保障业务连续性。
- 性能基线:迁移前后使用相同数据集与访问模式做对比测试,重点关注P99/P99.9长尾延迟,而不仅是平均IOPS。
- 容量与寿命规划:结合写放大、DWPD等指标评估闪存寿命,制定数据分布与清理策略。
- 团队能力建设:安排驱动、固件与GPU运行时相关培训,建立故障排查手册与升级回滚流程。
九、总结
GPU直连闪存存储扩展与传统CPU中介式存储访问路径,代表了两种不同的数据通路设计:
- GPU直连方案通过让GPU直接发起I/O、绕过CPU,压缩数据面中间环节。它以512字节细粒度访问和每GPU数百MIOPS的目标性能为设计抓手,核心价值在于以低成本闪存扩展GPU可访问数据空间,缓解HBM容量与成本约束。
- CPU中介方案依托成熟的内核I/O栈与通用生态,在稳定性、安全性、可移植性与运维便利性上具备明显优势。
二者的优劣并非来自“谁更先进”,而是来自数据路径结构、协议粒度、隔离落点与运维模式的具体差异。
选型时应回到业务本身:数据规模是否超出显存、访问模式是随机还是顺序、CPU是否已成瓶颈、团队是否具备相应的运维能力、合规要求是否允许数据面绕开内核。对多数团队而言,先在云上基于通用产品类别完成 PoC 与基准测试,再以分层架构逐步引入直连能力,通常是风险与收益较为平衡的路径。