简介:本文解释存算一体(PIM)如何支撑生产级大模型推理服务的块级KV缓存管理,介绍逻辑块到物理位置的映射、Value提交缓冲等关键机制,并说明性能数据的来源、适用场景与边界,帮助技术选型人员快速建立整体认识。
存算一体(Processing-in-Memory,PIM)是一类把计算单元放进存储器内部或紧邻存储器的硬件架构,数据在所在位置直接参与运算,从而减少数据在存储器与处理器之间反复搬运的开销。大语言模型推理中的注意力计算大多是访存密集型操作,因此是PIM的典型应用对象。
“通用PIM上的KV缓存运行时”指位于推理服务引擎与PIM硬件之间的一层软件。它接收服务引擎按逻辑块管理的KV缓存操作,把这些逻辑块准确映射到PIM的物理存储位置,并生成对应的访存与计算命令序列。它的核心目标是让服务引擎的动态缓存操作在PIM硬件上完整运行,同时不要求修改PIM内部的处理单元。这一点决定了它能否在通用硬件上落地。
大语言模型服务引擎持续接收动态到达的请求,并借助连续批处理提升吞吐。为了管理显存中的KV缓存,主流引擎普遍采用分页式块管理:缓存被切分为固定大小的逻辑块,常见大小为16个token。块按需分配,多个请求可以共享相同前缀,已完成请求的块可以保留下来供后续复用,不再需要时再回收。
因此,KV缓存的生命周期是动态的,分配、写入、共享、复用、回收会交替、持续地发生。一个面向生产服务的硬件平台,除了要加速注意力计算,还必须能高效支撑这些持续的缓存操作。
多数已有PIM推理方案存在以下三类问题:
还有一类方案通过修改PIM处理单元来获得高效写入。这类做法能提升性能,但硬件改造成本高,通用性也随之下降。
在通用PIM上,KV缓存面临三个目标之间的冲突:
这三者很难同时满足,Value的布局尤其突出。原因在于Value在注意力计算中的访问方向与Key不同,为了让计算高效而优化的布局,往往会让逐token写入变得昂贵。运行时的价值,就是在软件层面协调这种权衡,而不依赖硬件改动。
一个完整的通用PIM KV缓存运行时通常包含以下几个关键模块。
运行时需要读懂服务引擎的块表信息,包括每个块属于哪个请求、处于什么状态(已填满或未填满)、与其他请求是否存在共享关系。只有理解这些语义,运行时才能判断哪些写入需要立即落地,哪些可以延后。
分配器把最小执行单元逐级组合成块级、组级的物理粒度,并把每个逻辑块一一绑定到确定的物理放置。分层设计的意义在于,小粒度保证了分配的灵活性,大粒度保证了访存的连续性和命令的规整性,两者兼顾。
根据物理放置结果,生成具体的访存与计算命令序列。由于绑定是精确的,命令可以直接针对目标存储行发出,避免盲目访问。
提交缓冲区(原文称提交区)用于暂存尚未填满的Value块。块未填满时,新产生的Value先留在缓冲区中,等块填满后再整体写入物理位置。这样做避免了每个token都单独触发一次存储行的打开与写入。
下面以解码阶段的一步为例说明运行时如何工作。
在解码阶段,模型每生成一个新token,就产生一组新的Key和Value向量,需要追加到对应的逻辑块中。在没有缓冲的情况下,每次写入都要先打开目标存储行,写入少量数据后再关闭。单token写入的行激活开销很大,而且和数据量相比并不划算。
引入提交缓冲区后,流程变为:
以下是通用示意代码,描述的是流程逻辑,并非某个具体系统的接口:
def append_token(request, k_vec, v_vec):block = block_table.last_block(request) # 查找当前逻辑块phys = allocator.bind(block) # 逻辑块到物理放置的绑定write_key(phys.key_zone, k_vec) # Key直接写入commit_buffer.stage(block.id, v_vec) # Value先暂存if block.is_full():values = commit_buffer.pop(block.id)flush_values(phys.value_zone, values) # 整块写入
按照原研究的报告,这种设计使解码阶段单token写入所需的行激活次数减少了12.6倍。这一数字来自该研究在特定模型、负载和硬件配置下的实验,代表的是访存次数的相对变化,不能直接等同于端到端的性能提升。
通用PIM KV缓存运行时主要适用于以下场景:
对于批量离线推理、模型较小、缓存占用很低的场景,引入这类运行时的收益可能有限,需要先做评估。
与静态KV缓存映射的区别:静态映射在运行前确定缓存的位置与规模,适合请求长度可预测的负载。运行时方案按逻辑块动态分配与回收,适合请求随机到达、长度差异大的生产环境。
与仅加速注意力的PIM加速器的区别:后者关注计算本身的加速,通常只覆盖解码阶段。运行时关注的是缓存的全生命周期管理,包括分配、共享、复用和回收,二者解决的问题层次不同,可以互补。
与服务引擎块管理的关系:服务引擎决定哪些请求共享哪些块,以及何时回收。运行时位于其下层,负责把这些决策落实到具体的物理存储与硬件命令上,二者是上下游关系,而不是替代关系。
与修改硬件处理单元的方案的区别:后者通过改造硬件获得更高的写入效率,性能上限可能更高,但需要硬件支持。运行时方案不修改处理单元,依靠软件层的布局与缓冲设计来协调效率,通用性更好。
原研究报告,相对四个已有PIM推理基线系统,该方案平均取得1.95倍加速与4.83倍能效提升,KV缓存命中率与主流服务引擎的GPU原生方案相当。这些结果依赖于其实验中的模型、请求分布、批大小和硬件参数。在选型时,应在自身负载上复现测试,关注吞吐、尾延迟、能效和缓存命中率等多个指标,而不是只看单一倍数。
提交缓冲区要占用额外存储空间。块大小和提交策略会影响它的占用量与写入节奏。块越大,缓冲占用越多,但写入次数越少;块越小,缓冲占用越少,但行激活次数相应增加。在容量紧张的部署中,需要专门评估这一权衡。
前缀共享意味着多个请求引用同一个物理块。运行时必须正确维护引用计数,确保只有在没有任何请求引用时才回收物理存储。回收与写入并发时,还要防止新数据覆盖仍被引用的块。
在多租户环境中,前缀共享可能带来信息泄露风险,例如不同用户之间通过缓存命中推断对方的输入内容。在部署时,应明确共享策略的边界,只在可信范围内共享缓存,并对敏感请求禁用跨请求共享。
运行时依赖服务引擎的块表语义。引擎版本升级或块管理策略变化时,需要同步检查运行时的理解是否仍然正确。建议在集成测试中覆盖分配、共享、回收、前缀缓存命中等完整路径。
通用PIM上的KV缓存运行时,本质上是一层把服务引擎的动态块管理落实到存算一体硬件上的软件层。它的核心能力包括理解逻辑块语义、把逻辑块精确绑定到物理位置、生成对应的硬件命令,并借助提交缓冲区减少写入时的行激活开销。它的价值在于让存算一体硬件可以在不修改处理单元的前提下,支撑生产级推理服务中持续发生的KV缓存操作。
它的适用边界也很清楚:收益依赖于负载特征,缓冲区和块大小需要根据容量与延迟目标调整,共享策略需要考虑安全要求。选型时,应以自身负载的实测结果为准,并把缓存生命周期管理作为评估的重点。