通用PIM硬件上的大模型KV缓存运行时

作者:蛮不讲李2026.11.18 11:45浏览量:0

简介:本文解释存算一体(PIM)如何支撑生产级大模型推理服务的块级KV缓存管理,介绍逻辑块到物理位置的映射、Value提交缓冲等关键机制,并说明性能数据的来源、适用场景与边界,帮助技术选型人员快速建立整体认识。

什么是通用PIM上的KV缓存运行时

存算一体(Processing-in-Memory,PIM)是一类把计算单元放进存储器内部或紧邻存储器的硬件架构,数据在所在位置直接参与运算,从而减少数据在存储器与处理器之间反复搬运的开销。大语言模型推理中的注意力计算大多是访存密集型操作,因此是PIM的典型应用对象。

“通用PIM上的KV缓存运行时”指位于推理服务引擎与PIM硬件之间的一层软件。它接收服务引擎按逻辑块管理的KV缓存操作,把这些逻辑块准确映射到PIM的物理存储位置,并生成对应的访存与计算命令序列。它的核心目标是让服务引擎的动态缓存操作在PIM硬件上完整运行,同时不要求修改PIM内部的处理单元。这一点决定了它能否在通用硬件上落地。

一、背景与价值

1. 生产服务引擎的缓存模型

大语言模型服务引擎持续接收动态到达的请求,并借助连续批处理提升吞吐。为了管理显存中的KV缓存,主流引擎普遍采用分页式块管理:缓存被切分为固定大小的逻辑块,常见大小为16个token。块按需分配,多个请求可以共享相同前缀,已完成请求的块可以保留下来供后续复用,不再需要时再回收。

因此,KV缓存的生命周期是动态的,分配、写入、共享、复用、回收会交替、持续地发生。一个面向生产服务的硬件平台,除了要加速注意力计算,还必须能高效支撑这些持续的缓存操作。

2. 现有PIM方案的局限

多数已有PIM推理方案存在以下三类问题:

  • 只加速解码阶段的注意力计算,无法跟随块的分配与回收,也难以支持前缀共享和前缀缓存。
  • 把KV缓存视为一块大张量做静态映射,缓存规模和布局在运行前基本固定,缺乏对动态生命周期的管理能力。
  • 虽然能分配块,但块内物理布局不明确,运行时无法判断某个逻辑块对应哪些存储行,难以生成精确的硬件命令。

还有一类方案通过修改PIM处理单元来获得高效写入。这类做法能提升性能,但硬件改造成本高,通用性也随之下降。

3. 三类效率之间的权衡

在通用PIM上,KV缓存面临三个目标之间的冲突:

  • GEMV执行效率:注意力的核心是矩阵向量乘(GEMV),读取时要求数据布局利于高效并行访问。
  • KV写入效率:解码阶段每生成一个token,都要写入对应的Key和Value,写入路径需要尽量短。
  • 容量效率:块的物理布局若要求整齐对齐,容易产生空间浪费,有效利用的存储比例会下降。

这三者很难同时满足,Value的布局尤其突出。原因在于Value在注意力计算中的访问方向与Key不同,为了让计算高效而优化的布局,往往会让逐token写入变得昂贵。运行时的价值,就是在软件层面协调这种权衡,而不依赖硬件改动。

二、核心组成

一个完整的通用PIM KV缓存运行时通常包含以下几个关键模块。

1. 逻辑块语义理解

运行时需要读懂服务引擎的块表信息,包括每个块属于哪个请求、处于什么状态(已填满或未填满)、与其他请求是否存在共享关系。只有理解这些语义,运行时才能判断哪些写入需要立即落地,哪些可以延后。

2. 分层粒度分配器

分配器把最小执行单元逐级组合成块级、组级的物理粒度,并把每个逻辑块一一绑定到确定的物理放置。分层设计的意义在于,小粒度保证了分配的灵活性,大粒度保证了访存的连续性和命令的规整性,两者兼顾。

3. 命令序列生成器

根据物理放置结果,生成具体的访存与计算命令序列。由于绑定是精确的,命令可以直接针对目标存储行发出,避免盲目访问。

4. 提交缓冲区

提交缓冲区(原文称提交区)用于暂存尚未填满的Value块。块未填满时,新产生的Value先留在缓冲区中,等块填满后再整体写入物理位置。这样做避免了每个token都单独触发一次存储行的打开与写入。

三、工作原理

下面以解码阶段的一步为例说明运行时如何工作。

在解码阶段,模型每生成一个新token,就产生一组新的Key和Value向量,需要追加到对应的逻辑块中。在没有缓冲的情况下,每次写入都要先打开目标存储行,写入少量数据后再关闭。单token写入的行激活开销很大,而且和数据量相比并不划算。

引入提交缓冲区后,流程变为:

  1. 根据块表找到当前请求的最后一个逻辑块。
  2. 分配器把该逻辑块绑定到物理放置,确定Key区和Value区的位置。
  3. Key按其布局直接写入对应存储位置。
  4. Value先暂存到提交缓冲区,与同一块的其他Value一起等待。
  5. 块填满后,把缓冲区中的Value整体写入Value区,并清空对应缓冲。

以下是通用示意代码,描述的是流程逻辑,并非某个具体系统的接口:

  1. def append_token(request, k_vec, v_vec):
  2. block = block_table.last_block(request) # 查找当前逻辑块
  3. phys = allocator.bind(block) # 逻辑块到物理放置的绑定
  4. write_key(phys.key_zone, k_vec) # Key直接写入
  5. commit_buffer.stage(block.id, v_vec) # Value先暂存
  6. if block.is_full():
  7. values = commit_buffer.pop(block.id)
  8. flush_values(phys.value_zone, values) # 整块写入

按照原研究的报告,这种设计使解码阶段单token写入所需的行激活次数减少了12.6倍。这一数字来自该研究在特定模型、负载和硬件配置下的实验,代表的是访存次数的相对变化,不能直接等同于端到端的性能提升。

四、典型场景

通用PIM KV缓存运行时主要适用于以下场景:

  • 长上下文或高并发的在线推理服务,KV缓存占用大,访存成为瓶颈。
  • 需要前缀共享或前缀缓存的服务,例如多轮对话、固定系统提示词较长的应用,缓存复用率高。
  • 希望在现有通用PIM硬件上部署生产服务、而不愿为每一代硬件修改处理单元的团队。
  • 需要评估存算一体硬件能否进入真实推理服务系统的选型与研究场景。

对于批量离线推理、模型较小、缓存占用很低的场景,引入这类运行时的收益可能有限,需要先做评估。

五、相关概念区别

与静态KV缓存映射的区别:静态映射在运行前确定缓存的位置与规模,适合请求长度可预测的负载。运行时方案按逻辑块动态分配与回收,适合请求随机到达、长度差异大的生产环境。

与仅加速注意力的PIM加速器的区别:后者关注计算本身的加速,通常只覆盖解码阶段。运行时关注的是缓存的全生命周期管理,包括分配、共享、复用和回收,二者解决的问题层次不同,可以互补。

与服务引擎块管理的关系:服务引擎决定哪些请求共享哪些块,以及何时回收。运行时位于其下层,负责把这些决策落实到具体的物理存储与硬件命令上,二者是上下游关系,而不是替代关系。

与修改硬件处理单元的方案的区别:后者通过改造硬件获得更高的写入效率,性能上限可能更高,但需要硬件支持。运行时方案不修改处理单元,依靠软件层的布局与缓冲设计来协调效率,通用性更好。

六、使用注意事项

1. 性能数据的解读

原研究报告,相对四个已有PIM推理基线系统,该方案平均取得1.95倍加速与4.83倍能效提升,KV缓存命中率与主流服务引擎的GPU原生方案相当。这些结果依赖于其实验中的模型、请求分布、批大小和硬件参数。在选型时,应在自身负载上复现测试,关注吞吐、尾延迟、能效和缓存命中率等多个指标,而不是只看单一倍数。

2. 提交缓冲区的容量开销

提交缓冲区要占用额外存储空间。块大小和提交策略会影响它的占用量与写入节奏。块越大,缓冲占用越多,但写入次数越少;块越小,缓冲占用越少,但行激活次数相应增加。在容量紧张的部署中,需要专门评估这一权衡。

3. 前缀共享与回收的一致性

前缀共享意味着多个请求引用同一个物理块。运行时必须正确维护引用计数,确保只有在没有任何请求引用时才回收物理存储。回收与写入并发时,还要防止新数据覆盖仍被引用的块。

4. 多租户隔离与安全

在多租户环境中,前缀共享可能带来信息泄露风险,例如不同用户之间通过缓存命中推断对方的输入内容。在部署时,应明确共享策略的边界,只在可信范围内共享缓存,并对敏感请求禁用跨请求共享。

5. 与现有系统的集成

运行时依赖服务引擎的块表语义。引擎版本升级或块管理策略变化时,需要同步检查运行时的理解是否仍然正确。建议在集成测试中覆盖分配、共享、回收、前缀缓存命中等完整路径。

七、总结

通用PIM上的KV缓存运行时,本质上是一层把服务引擎的动态块管理落实到存算一体硬件上的软件层。它的核心能力包括理解逻辑块语义、把逻辑块精确绑定到物理位置、生成对应的硬件命令,并借助提交缓冲区减少写入时的行激活开销。它的价值在于让存算一体硬件可以在不修改处理单元的前提下,支撑生产级推理服务中持续发生的KV缓存操作。

它的适用边界也很清楚:收益依赖于负载特征,缓冲区和块大小需要根据容量与延迟目标调整,共享策略需要考虑安全要求。选型时,应以自身负载的实测结果为准,并把缓存生命周期管理作为评估的重点。