简介:本文对比“重算历史”“分布式内存池”和“本地两层存储”,并进一步比较计算与存储互不知情的调度与协同调度。读者可据此理解KV缓存如何影响显存、延迟与吞吐,以及不同容量、成本和运维条件下的选型边界。
本文对比的不是某一种模型产品,而是多轮对话推理中历史上下文的三种处理方式,以及它们对加速芯片的影响:
在方案C内部,还要对比两种实现:计算与存储各自调度,以及按对话规律协同调度I/O与淘汰。
多轮对话的计算依赖前面所有轮次的KV。若不缓存,历史越长,重复计算越多。原文给出的工业负载观察是:平均约22.4轮,冗余计算可占总计算量约93.1%。这说明缓存首先是在保护芯片算力,而不是单纯“多占一点内存”。
加速芯片的显存容量、带宽和计算吞吐并不按同一比例增长。KV随批大小、层数、头数、序列长度和对话轮次线性或近线性增长,而显存是硬上限。把全部历史KV常驻显存,能降低重复计算,但会挤占当前批次的激活值、权重分片和并发槽位,最终降低可同时服务的会话数。
因此工程上通常把KV从显存中换出:主机内存作为快层,本地持久化介质作为慢层。快层命中时延迟较低;慢层命中时要经历排队、读盘、拷贝和重新放入计算图。原文对两层存储代表实现的观察是:相对“历史KV都在主机内存”的理想参照,响应延迟可高出约3.8倍,吞吐约低2倍。差距主要来自调度,而不只是介质本身慢。
三者目标一致:让下一轮生成仍能看到完整历史,并尽量把芯片时间用在新token上。
方案A只依赖计算图,系统边界简单,但把存储问题转化成重复算力。历史每增加一轮,前缀都要再走一遍层计算,芯片占用时间随上下文增长而放大。
方案B把容量扩展到远端内存,计算节点显存压力小,但引入网络往返、远程内存注册、故障域和一致性问题。它适合已具备低延迟互联和统一资源调度的集群;对只拥有单机或小规模加速卡的团队,硬件前提往往不成立。
方案C把容量放在本机。主机内存承担近期会话,持久化层承担长尾会话。系统边界清晰、硬件通用,但数据路径更长:持久化介质、主机内存、设备显存之间至少两次搬运。若计算引擎不知道数据在哪一层,存储层又不知道下一轮哪段KV会被用到,两边会互相放大等待。
重算方案的主要成本是算力浪费。缓存方案的主要成本是加载等待。两层存储被“卡死”的典型机制是:
协同调度的核心不是更换介质,而是让两侧共享信息:预估下一轮到达时间、前缀是否可复用、KV所在层级、读放大和当前批次的剩余时间,从而决定预取、升降层和淘汰顺序。
盲调度:请求到达 -> 若KV不在显存 -> 立即从当前所在层读取 -> 读完才开始计算协同调度:估计会话下次访问若即将访问且在慢层 -> 提前升到主机内存若批次内已有可计算请求 -> 先计算,慢层读取与计算重叠淘汰时保留稳定前缀和近期轮次,优先换出长期不活跃会话
这段逻辑只说明控制面应看到的信息,不代表某种实现的接口或参数。
| 维度 | 每轮重算 | 分布式内存池 | 本地两层存储(盲调度) | 本地两层存储(协同调度) |
|---|---|---|---|---|
| 主要资源 | 芯片算力 | 远端内存与互联 | 主机内存、本地持久化介质、拷贝带宽 | 同左,另加调度信息 |
| 容量 | 受显存和重算时间限制 | 大,但依赖专用互联 | 大,成本通常更低 | 大,有效容量取决于命中率 |
| 延迟 | 随历史长度上升 | 取决于远程访问延迟 | 慢层命中时尾延迟高 | 通过预取和重叠降低等待 |
| 吞吐 | 大量周期用于重复前缀 | 计算节点可保持较高占用 | 易被慢I/O和批次拖尾拉低 | 更接近“热数据在内存”的参照 |
| 硬件前提 | 低 | 高 | 低到中 | 低到中 |
| 运维复杂度 | 低 | 高,含网络与故障域 | 中,含容量和磨损 | 中高,需观测对话访问模式 |
| 适用边界 | 极短上下文、低并发 | 已有高速内存池的集群 | 成本敏感但可容忍尾延迟 | 长对话、会话复用明显的服务 |
如果团队没有专用互联,却要支撑长多轮对话,本地两层存储通常比全量重算和分布式内存池更可落地。但它只有在计算调度、缓存分层和对话访问模式互相可见时,才接近“数据已在主机内存”的表现。只增加容量、不改变调度,往往会把显存压力转移成I/O排队。
若并发不高且上下文可控,重算或仅使用主机内存缓存更易维护。若已经拥有统一高速内存池,并且节点间迁移频繁,内存池的架构收益可能大于其硬件成本。判断应基于实测的轮次分布、前缀复用率、主机内存容量和慢层读尾延迟,而不是套用单一结论。
从重算迁到缓存时,要明确KV的失效条件:采样参数变化不一定使KV失效,提示词、历史截断、张量并行切分或精度变化则可能使缓存不可复用。迁移到两层存储后,需监控快层命中率、慢层排队时间、设备拷贝带宽、批次拖尾比例和会话复活时间,而不是只看平均延迟。
容量规划至少分开计算显存中的活跃KV、主机内存中的热KV和持久层中的冷KV。淘汰策略要保留安全水位,避免主机内存耗尽后同步换页。持久层读取应可取消、可超时,防止一个冷会话长期占用批次。跨节点恢复时要检查缓存版本与模型权重版本是否一致。
安全方面,KV包含可反推上下文的信息,主机内存和持久层都应纳入与请求数据相同的访问控制、加密和租户隔离,不应因为“只是缓存”降低保护级别。
KV缓存优化对芯片的影响,本质是把重复计算换成有控制的数据移动。重算简单但浪费算力;分布式内存池容量和性能潜力高,但硬件与运维门槛高;本地两层存储成本低,却容易被盲调度和不合理淘汰拖垮。选型时先看会话是否真有可复用历史,再看热数据能否放进主机内存,最后决定是否需要让计算调度感知存储层级。只有在这个顺序下,缓存才会提高芯片有效吞吐,而不是仅仅把瓶颈从显存挪到磁盘。