GPU直连与传统中介存储访问方案对比

作者:狼烟四起2026.11.16 10:58浏览量:0

简介:工作负载正从计算密集型转向数据密集型,GPU显存容量与成本约束日益突出。本文对比GPU直连闪存存储与传统CPU中介式访问两条路径,从数据通路、细粒度访问、性能特征、扩展性、安全合规和运维成本等维度剖析差异,帮助读者判断“区别是什么、怎么选、迁移注意什么”。

一、对比背景:工作负载变了,数据通路成为瓶颈

近年来,AI训练与推理的负载特征发生了明显变化。应用重心正从“计算密集型”向“数据密集型”迁移:模型规模持续扩大,上下文长度不断拉长,高维向量检索、图计算、大规模特征处理等场景也日益普遍。计算需求仍可通过堆叠加速卡来满足,数据规模的膨胀却更难通过同样方式消化。

GPU的高带宽内存(HBM)提供了极高的访存带宽,但容量相对有限、单位成本较高。由此形成三个现实问题:

  1. 容量约束:许多数据集、参数表或知识库的规模远超单卡乃至单节点显存容量,难以全部常驻显存。
  2. 搬运开销:显存放不下时,程序需要在GPU显存与主机内存或存储之间反复搬运数据,CPU成为数据路径上的必经节点和潜在瓶颈。
  3. 成本压力:单纯依靠增加显存或增配GPU来扩展可访问数据空间,硬件成本高,扩展速度也跟不上数据增长。

在此背景下,行业中出现了让GPU直接访问基于闪存的存储、以闪存容量补充HBM容量、从而扩展GPU可访问数据空间的思路。这类思路的核心是让GPU直接发起存储I/O请求、绕过CPU,以降低延迟、提升IOPS。它与长期沿用的CPU中介式存储访问路径代表了两种不同设计哲学。本文对比的对象如下(原始材料涉及的具体厂商信息已做中立化处理):

  • 对象A(GPU直连方案):GPU直连闪存的存储扩展架构。GPU直接向存储设备发起读写请求,数据在存储设备与GPU显存之间直接传输,CPU不参与每笔I/O的数据面处理。
  • 对象B(CPU中介方案):传统CPU中介式存储访问路径。应用经操作系统内核向存储设备发起I/O,数据先进入主机内存,再通过拷贝或主机侧DMA搬运到GPU显存,CPU在数据面扮演调度者与搬运者。

需要澄清的是,“GPU直连”描述的是存储扩展能力,并不排斥GPU之间的高速互连或GPU与网络设备之间的直接传输。二者是不同层面的技术方向,只是在“GPU可绕过CPU访问什么资源”这一点上,它们代表了同一种设计取向。

二、对象定义:两条路径分别解决什么问题

2.1 对象A:GPU直连闪存存储扩展架构

基本思路:将闪存纳入GPU可访问的数据层级,使显存不再是数据访问的物理边界。按原始材料披露,其核心特点包括:

  • GPU侧发起I/O:GPU可直接向存储设备提交I/O请求,绕过CPU,旨在降低端到端延迟、提高IOPS。
  • 通用协议与接口:基于NVMe/PCIe等业界通用协议与接口,并支持较新的PCIe接口代际(原始材料提到支持PCIe Gen6)。
  • 细粒度访问:支持512字节粒度的数据访问。传统块设备 I/O 多以4KiB为基本单位,面向512字节粒度访问的设计更适合随机、小粒度的读取模式。
  • 目标性能:原始材料给出的目标性能约为每GPU 200 MIOPS(百万次I/O每秒)量级。需要强调,这是架构目标值,而非普遍实测结果;实际表现受具体配置、软件版本和工作负载影响。
  • 软件栈支撑:需要配套的软件栈,为上层应用提供与现有编程模型对接的接口。原始材料提及“包括相关软件栈”,具体组件范围以其官方文档为准。

要解决的问题:HBM的容量与成本限制,以及随之而来的GPU可访问数据空间扩展难题。它的定位是在显存之下增加一层高带宽、低延迟、可细粒度访问的存储层,让GPU以更低的搬运代价访问超出显存容量的数据。

一个容易混淆的概念:这里的“存储扩展”指扩展GPU可寻址的数据容量,并非把闪存当作字节可寻址的主存直接嵌入统一内存模型。对开发者而言,更合理的预期是“一层高速、可细粒度访问的存储层级”,而不是“显存的透明替代品”。

作用边界:“绕过CPU”不等于“脱离CPU”。GPU的初始化、设备枚举、固件加载、异常恢复等控制面工作仍由CPU侧承担,CPU不再参与的主要是每笔I/O的数据面搬运。

2.2 对象B:传统CPU中介式存储访问路径

基本流程:CPU在控制面负责设备发现、驱动加载与故障处理;在数据面执行以下典型流程:

  1. 应用(CPU侧)通过系统调用或内核异步I/O接口向文件系统或块层提交读写请求;
  2. 数据先落入主机内存缓冲区;
  3. 数据再经显式拷贝或主机侧DMA进入GPU显存;
  4. 应用收到完成信号后,在GPU侧使用数据。

要解决的问题:在通用操作系统上,为所有应用提供稳定、统一、具备完整文件语义的存储访问能力。由于数据面完全经由内核,CPU可以天然地完成权限校验、I/O限速、缓存管理和访问审计。

现实约束:CPU的核数、单核I/O处理能力、内存带宽以及PCIe链路,共同构成数据搬运的上限。GPU算力越强,CPU越容易成为数据供给的瓶颈,大规模、小粒度随机访问场景尤为明显。

2.3 容易被忽略的参照项:CPU侧内存中介路径

GPU直连并不是唯一 alternatives。工程实践中常见一类折中做法:CPU线程通过统一虚拟寻址等通用编程接口,访问注册到主机内存中的缓冲区,数据在GPU与主机内存之间由驱动隐式迁移,I/O发起方仍是CPU。

  • 它与CPU中介方案共享同一条存储I/O通路,差别在于GPU侧数据何时、以何粒度进入显存。
  • 与GPU直连方案相比,它没有消除CPU对数据面的参与,但改造量小,在数据量适中时往往足够。

因此,更完整的决策链条通常是:先判断“数据能否放进显存”,再判断“由GPU还是CPU发起I/O”。

三、相同点:两类方案为何放在一起比较

  1. 目标一致:都为了突破显存容量天花板,让GPU能够处理超出HBM容量的数据;GPU直连以扩展GPU可访问空间为目标,CPU中介则以主机侧大容量存储为数据源。
  2. 协议基础同源:都建立在NVMe/PCIe等业界通用协议与接口之上。闪存设备本身的能力不因访问路径改变,差异主要来自数据面由谁发起、经过哪些环节。
  3. 内存层级定位相似:都是显存之下、主机内存附近的数据层级,都属于“容量大、延迟高、带宽低”的相对慢速层,实际收益都取决于访问局部性与数据复用率。
  4. 对软件栈的依赖相似:都需要驱动、运行时、通信库与编程接口配合。GPU直连方案只是把接口能力下沉到更靠近设备的层次,并非可以脱离软件栈裸跑。
  5. 受相同的物理约束:两者最终都要占用PCIe链路带宽,都受闪存介质寿命、写放大、GC停顿等因素影响,都需要在性能、容量与成本之间权衡。

四、核心差异:八个维度的逐项拆解

4.1 数据路径:CPU参与多少,决定了开销构成

用伪代码对比两条路径的语义差异:

  1. # 示意1:CPU中介方案
  2. def load_via_cpu(offset, size):
  3. host_buf = alloc_host_buffer(size) # ① 分配主机内存
  4. submit_io(dev=storage, buf=host_buf, off=offset, size=size) # ② CPU发起I/O
  5. wait_completion() # ③ CPU等待或轮询完成
  6. gpu_buf = gpu_malloc(size)
  7. copy_host_to_gpu(gpu_buf, host_buf, size) # ④ 额外一次搬运
  8. return gpu_buf
  9. # 示意2:GPU直连方案
  10. def load_via_gpu_direct(offset, size):
  11. gpu_buf = gpu_malloc(size) # ① 显存侧直接作为I/O目标
  12. gpu_submit_io(dev=storage, buf=gpu_buf, off=offset, size=size) # ② GPU发起
  13. gpu_wait_completion() # ③ 完成信号回到GPU侧
  14. return gpu_buf

可以看出,两条路径的差别集中在两点:

  • CPU中介方案需要额外一次跨总线搬运。端到端延迟大致由“存储访问时间 + 协议处理时间 + 拷贝时间 + 排队时间”构成,并叠加CPU调度抖动。
  • GPU直连方案省掉了搬运环节,但它并非“没有开销”:GPU仍需发起请求、等待完成,开销从CPU转移到了GPU的驻留资源与软硬件链路效率上。

两者的工程含义可以归纳为三条:

  • 粒度越细,差距越明显:在512字节、4KiB这类小粒度请求中,单笔数据的传输时间很短,协议开销、调度延迟和搬运开销占比很高。减少中间环节时,单位时间可完成的请求数提升更明显。
  • 顺序大块场景差距收窄:读写128KiB乃至MB级连续数据时,瓶颈更多在介质带宽和链路带宽,拷贝可以被流水线化。此时两条路径的带宽差距,往往小于延迟差距。
  • CPU作为共享资源:GPU直连可以减少CPU参与,但CPU仍要服务网络接收、数据预处理、调度决策等工作。这部分负载能否与之并行推进,才是整体吞吐是否提升的关键。

4.2 协议与接口:谁发起请求,谁就要承担语义

  • 命令归属不同:CPU中介方案下,读写命令由内核块层构造,文件系统、块层缓存、I/O调度器等环节天然可用;GPU直连方案下,命令构造与提交需要由GPU侧驱动或运行时完成,主机侧的传统I/O栈在这条数据通路上基本不参与。
  • 细粒度访问带来双重效应:512字节粒度让GPU无需为了取几KB数据而读入整个4KiB块,从而减少无效带宽消耗,更契合随机访问。但细粒度也意味着同样数据量下的请求数量成倍增加,对命令提交与完成通知机制提出更高要求。这是原始材料将“512字节细粒度”与“每GPU数百MIOPS目标”并列的原因:目标IOPS能否达成,高度依赖细粒度请求的组织效率。
  • 接口代际提供上限:原始材料明确提到支持PCIe Gen6。越新的接口代际,理论链路带宽越高,为IOPS和吞吐提供更大上限。但链路带宽只是上限,实际收益还取决于设备侧能力、拓扑结构以及GPU与存储设备是否挂在同一交换结构之下。
  • 文件语义需自行补齐:GPU直接访问闪存时,通常更接近块设备层面的访问。主机侧文件系统提供的路径管理、权限元数据、稀疏文件、快照等能力,需要在上层另行实现,或者由GPU直连方案专门支持文件接口。设计应用的数据布局时,这一点必须提前考虑。

4.3 性能特征:IOPS、延迟与带宽的“三角权衡”

评估两条路径时,应分别衡量以下指标,而不是只看某个单项:

  • IOPS:单位时间内完成的I/O请求数,对细粒度随机访问敏感。对象A的设计目标正是提升这一指标。
  • 延迟:包含排队、介质访问、协议处理与传输等环节。小粒度场景下,端到端延迟中固定开销占比高,GPU直连在理论上更有条件压缩这部分开销。
  • 带宽:大块顺序读写更看重此项,主要受介质能力与链路带宽约束。
  • 稳定性:长尾延迟(如P99、P99.9)往往比平均值更影响训练与推理的端到端时延。GPU直连路径缺少内核I/O调度器的缓冲,存储端的突发抖动可能更直接地传导至GPU侧,因此对设备侧QoS能力要求更高。

一个实践判断是:如果你的负载以“小粒度、高并发、强随机”为主,GPU直连的设计目标更贴合需求;如果以“大块顺序吞吐”为主,CPU中介方案经过多年优化,通常已能满足要求,迁移的边际收益有限。

4.4 容量与成本结构:性能、容量与单位成本的三角

GPU直连方案的初衷之一,是缓解HBM的容量与成本问题,其成本结构与传统方案有本质不同:

  • 单位容量成本:闪存的单位容量成本显著低于HBM。以闪存承载温数据、冷数据,整体硬件成本通常低于通过增加HBM或GPU数量来扩容。
  • 性能与容量错配:闪存带宽与延迟与HBM存在数量级差距,不能简单按“容量更大”来等价替换。实际系统往往是“HBM + 直连闪存 + 主机内存/分布式存储”的多层结构,数据 placed 在哪一层,直接决定成本效益。
  • 隐性成本:GPU直连方案还需要额外的驱动与软件栈支持、对硬件代际与拓扑的特定要求,以及团队的学习成本。在小规模部署中,这些固定成本可能抵消容量成本带来的节省。
  • 介质寿命:细粒度小写入会加剧闪存的写擦除压力。若负载写多读少,需要关注设备的耐久度指标(如DWPD)与磨损均衡机制。

4.5 扩展性、资源管理与故障域

  • 扩展单元不同:CPU中介方案下,CPU、内存、存储与GPU可各自独立扩容,扩容粒度灵活;GPU直连方案的资源配比通常需要在GPU与直连存储之间按一定比例配置,调整成本更高。
  • 资源绑定更强:直连意味着数据通路与特定GPU、特定存储设备绑定更紧,GPU计算任务调度的灵活性可能受到影响,尤其当任务需要跨节点迁移、而数据仍留在原节点直连存储上时。
  • 故障传导更直接:主机侧驱动或存储I/O栈出错时,CPU中介方案通常能以内核错误处理机制兜底,进程可感知错误并降级;GPU直连路径的异常需要由GPU侧软件栈捕获并恢复。若无完善的错误处理,单点故障可能直接中断GPU计算。
  • 多设备竞争:多块GPU共享同一存储设备时,GPU直连方案更需要借助设备侧QoS、分区等手段避免相互干扰。

4.6 安全与合规:绕过CPU之后,隔离靠什么

这是容易被低估的差异。CPU中介方案的I/O天然经过内核,访问控制、I/O限速、审计日志等能力可复用于所有应用。GPU直连方案让数据面不再经过内核,这些能力的落点需要重新规划:

  • 身份与权限:GPU发起I/O时,“谁有权访问这块存储”的校验从内核扩展到了驱动、固件与运行时,需要确保GPU侧身份与主机侧身份体系一致,避免出现权限旁路。
  • 隔离机制:虚拟化或容器环境中,需要借助IOMMU、设备直通、存储多路径隔离等手段,确保不同租户的GPU不能越过边界访问彼此的数据。
  • 数据保护:静态加密、传输加密策略需要覆盖直连通路。主机侧文件系统提供的加密能力在GPU直接访问块设备时不再自动生效,需要在设备侧或应用侧补齐。
  • 审计与可追溯:绕开内核后,I/O级审计日志可能缺失,合规场景下需要评估是否保留审计钩子或在应用层记录关键访问。

4.7 软件栈与接入成本:改造量集中在“接口层”

  • CPU中介方案:生态成熟,接口稳定,绝大多数深度学习框架、数据处理库与存储客户端默认支持,应用层通常无需感知底层存储路径。
  • GPU直连方案:需要GPU侧驱动、存储设备固件与运行时协同工作。应用需要改用能感知直连存储的接口,涉及数据缓冲区注册、地址映射、请求提交与完成通知等。改造主要集中在数据加载层,但会触及训练、推理框架与现有数据管线的对接。
  • 可移植性:直连接口与具体硬件代际、驱动版本绑定更紧。跨平台迁移时,需要保留CPU中介路径作为回退方案,避免被单一硬件环境锁定。
  1. # 示意3:通过统一接口屏蔽两条路径差异(伪代码)
  2. class StorageLayer:
  3. def __init__(self, mode):
  4. self.mode = mode # "direct" 或 "cpu"
  5. def fetch(self, key):
  6. desc = self.resolve(key) # 返回位置、长度等描述信息
  7. if self.mode == "direct":
  8. return gpu_direct_read(desc) # 依赖驱动与运行时支持
  9. else:
  10. host = cpu_read(desc) # 通用内核路径
  11. return copy_to_gpu(host) # 显式搬运

对多数应用而言,合理的做法是先在数据加载层抽象出统一接口,再按运行环境选择实现,把对特定硬件的依赖限制在最小范围内。

4.8 运维与可观测性

  • 监控指标:CPU中介方案可复用内核与存储系统的成熟指标;GPU直连方案需要新增GPU侧I/O指标(发起量、完成延迟、失败率),并打通GPU与存储两侧的监控视图。
  • 容量规划:直连架构下,“HBM命中率”“直连层命中率”“主机侧回退比例”等分层指标是容量规划的关键依据,传统只关注磁盘利用率的思路不再适用。
  • 故障恢复:GPU直连路径的故障处理链路更长,需要明确超时、重试、降级到CPU路径等策略,并通过演练验证。
  • 版本升级:驱动、固件与运行时需要协同升级,升级窗口与回滚方案应提前规划。

五、关键差异对比表

对比维度 对象A:GPU直连方案 对象B:CPU中介方案
数据路径 GPU直接发起I/O,数据在存储设备与GPU显存间传输 应用→内核→存储→主机内存→GPU显存,存在额外搬运
CPU参与度 数据面基本不参与,仅承担控制面 深度参与调度、搬运与缓存管理
细粒度访问 面向512字节粒度设计,契合随机小粒度访问 多以4KiB及以上块为单位,粒度更粗
性能关注点 IOPS与端到端延迟,目标为每GPU数百MIOPS量级(目标值) 吞吐与稳定性,路径成熟、行为可预期
容量扩展方式 以闪存容量补充HBM容量 以主机内存与主机侧存储为扩展来源
单位容量成本 显著低于显存,但有硬件配套与学习成本 通常最低,设备通用性强
软件栈要求 依赖GPU侧驱动、设备固件与运行时协同 依赖通用内核与成熟生态
安全与隔离落点 驱动、固件与设备侧,需额外补齐隔离与审计 内核实边,可直接复用访问控制与审计
故障域 与GPU、存储设备绑定更紧,异常传导更直接 相对独立,内核错误处理较完善
运维复杂度 较高,需新增GPU侧指标与协同升级流程 较低,监控与升级手段成熟
典型适用 数据远超显存、随机访问为主、GPU I/O压力大的场景 通用应用、数据可部分放入主机内存、追求稳定与低改造

六、典型场景选择

6.1 更适合考虑GPU直连方案的场景

  1. 超大参数与超长上下文推理:KV缓存、参数分片等数据规模超出显存容量,且访问模式带有明显随机性时,GPU直连有望减少“显存不足—回退主机—再搬回”的往返开销。
  2. 大规模检索增强与向量检索:候选集与索引规模巨大,单次查询只命中少量数据,小粒度随机读取占比高,与512字节粒度访问的设计目标契合。
  3. 高基数特征与参数表:推荐、广告等场景的特征表或嵌入表规模远超显存,训练与推理阶段需要频繁按索引取数,CPU侧I/O容易成为瓶颈。
  4. GPU算力充裕、I/O压力大:GPU侧计算能力远强于数据供给能力时,把数据面从CPU卸载出去,有助于让CPU专注于预处理与调度。

6.2 更适合保留CPU中介方案的场景

  1. 通用企业应用与数据处理作业:以CPU计算为主,或以大块顺序读写为主,GPU直连带来的边际收益有限,改造与运维成本不划算。
  2. 数据可放入主机内存的中等规模负载:当主机内存足以缓存热数据时,CPU中介路径已能满足需求,引入直连架构反而增加复杂度。
  3. 强隔离与审计要求场景:金融、政务等对访问审计、租户隔离要求严格的系统,优先保留经过内核的I/O路径,更容易满足合规检查。
  4. 异构与快速迭代环境:硬件代际不统一、应用迭代频繁时,通用路径的可移植性和稳定性更利于交付。

6.3 混合与分层:更贴近工程现实的选择

多数生产系统并非二选一,而是分层组合:

上层通过统一的数据访问接口屏蔽差异,按数据热度与访问模式动态迁移。这种结构既保留了直连方案在细粒度访问上的优势,又保留了通用路径的稳定与弹性。

七、选型建议:条件化的判断框架

不建议给出“谁一定更好”的结论,建议按以下顺序逐项判断:

  1. 先判断数据规模与显存的关系:数据能常驻显存时,两条路径都不必要;数据仅能部分驻留时,再进入下一步。
  2. 判断访问模式:以随机、小粒度为主,优先考虑GPU直连;以顺序大块为主,CPU中介方案通常够用。
  3. 评估CPU压力:监控CPU在I/O路径上的占用与排队情况,CPU已成瓶颈时直连方案价值更明显。
  4. 核算总体成本:综合硬件、软件栈适配、人力与迁移成本,而非只看单卡容量单价。
  5. 审视安全合规与运维能力:团队具备GPU驱动与存储运维经验,且合规要求允许数据面绕开内核时,再考虑直连方案;否则优先选择托管化程度更高的路径。

7.1 云上如何验证与选型

对于不具备自建GPU直连存储条件、或希望先验证价值的团队,可以先在云上完成 PoC 与基准测试,再决定是否引入直连架构。以百度智能云为例,可以从以下通用云产品类别入手:

  • GPU云服务器与高性能存储:用于搭建测试环境,采集不同访问粒度下的延迟与IOPS数据,形成可对比的基线。
  • 对象存储与并行文件存储:承载原始数据集与冷数据,验证分层访问的可行性与成本。
  • 容器平台:以容器化方式封装训练与推理任务,便于在不同存储路径之间切换对比,也便于横向扩展。
  • 身份认证与访问管理:统一GPU任务与存储资源的权限边界,为直连场景下的权限治理提供参考。
  • 日志服务与监控告警:采集GPU侧与存储侧指标,支撑容量规划与长尾延迟分析。

需要说明的是,云上实例是否支持GPU直连存储,取决于具体机型、配置与所用基础镜像和驱动版本,应以官方文档与实测结果为准。对多数业务而言,先用通用云产品类别完成小规模验证,往往比直接改造生产环境更稳妥。

八、迁移与实施注意事项

如果决定从CPU中介方案迁移到GPU直连方案,建议重点关注以下风险:

  1. 数据迁移与一致性:直连架构通常直接访问块设备,需要明确数据布局、元数据管理与一致性校验方式,避免切换过程中出现数据错乱。
  2. 兼容性验证:GPU型号、PCIe代际、存储设备型号与驱动版本需要满足直连要求,建议在测试环境先做兼容性矩阵验证。
  3. 权限与安全边界:重新梳理GPU侧身份与存储访问权限,确认隔离与审计能力在直连路径上依然生效。
  4. 回退机制:保留CPU中介路径作为降级方案,当直连路径出现异常时能快速切换,保障业务连续性。
  5. 性能基线:迁移前后使用相同数据集与访问模式做对比测试,重点关注P99/P99.9长尾延迟,而不仅是平均IOPS。
  6. 容量与寿命规划:结合写放大、DWPD等指标评估闪存寿命,制定数据分布与清理策略。
  7. 团队能力建设:安排驱动、固件与GPU运行时相关培训,建立故障排查手册与升级回滚流程。

九、总结

GPU直连闪存存储扩展与传统CPU中介式存储访问路径,代表了两种不同的数据通路设计:

  • GPU直连方案通过让GPU直接发起I/O、绕过CPU,压缩数据面中间环节。它以512字节细粒度访问和每GPU数百MIOPS的目标性能为设计抓手,核心价值在于以低成本闪存扩展GPU可访问数据空间,缓解HBM容量与成本约束。
  • CPU中介方案依托成熟的内核I/O栈与通用生态,在稳定性、安全性、可移植性与运维便利性上具备明显优势。

二者的优劣并非来自“谁更先进”,而是来自数据路径结构、协议粒度、隔离落点与运维模式的具体差异。

选型时应回到业务本身:数据规模是否超出显存、访问模式是随机还是顺序、CPU是否已成瓶颈、团队是否具备相应的运维能力、合规要求是否允许数据面绕开内核。对多数团队而言,先在云上基于通用产品类别完成 PoC 与基准测试,再以分层架构逐步引入直连能力,通常是风险与收益较为平衡的路径。