简介:多轮对话场景下,KV缓存常因计算与存储解耦导致延迟升高、吞吐下降。本文对比传统两层存储方案与计算存储协同调度方案,从架构、驱逐策略、I/O调度、适用场景与选型边界说明差异,帮助评估延迟、成本与落地复杂度。
多轮对话大模型服务中,每一轮推理都需要此前全部轮次的 Key/Value 张量。若不缓存,重复计算会迅速吞噬算力;若全部常驻加速器显存,容量又很快触顶。因此业界普遍采用“加速器计算 + 主机内存与块存储分层缓存”的路径。问题在于:仅把历史 KV 放到两层存储,并不等于服务延迟与吞吐达到可接受水平。计算引擎按批次盲目发起加载,存储侧按通用缓存规则驱逐,二者互不感知对话轮次规律时,I/O 与计算会互相拖累。本文对比两类路线:一类是计算与存储各自为政的传统两层 KV 缓存;另一类是让计算调度与缓存驱逐、预取协同的方案。读者可据此判断何时继续用分层存储,何时需要把对话语义写进缓存策略。
多轮对话应用(客服、陪练、助手等)具有明显特征:单用户会话轮次多、上下文持续增长、并发会话数量大。每一轮解码都依赖历史 KV。若每轮重算历史,冗余计算会占主导;若把全部 KV 钉在加速器上,显存会按用户数与序列长度线性膨胀。常见折中是:当前轮计算所需的 KV 尽量留在设备侧,历史 KV 下沉到主机内存,再溢出到大容量块存储。这条路径容量大、硬件门槛相对低,适合垂直场景与成本敏感部署。但实测与工程经验反复表明:引入慢速层后,若加载路径与驱逐策略不考虑“下一轮几乎一定还会用到近期上下文”,响应时延会明显拉长,有效吞吐下降。根因不是“有没有缓存”,而是“缓存何时加载、加载多少、驱逐谁”与计算流水线是否对齐。
传统两层 KV 缓存方案:加速器只负责注意力与前馈计算;主机内存作为热层,块存储作为冷层。调度器按请求到达顺序把缺失 KV 从下层读入。驱逐多采用通用策略(如最近最少使用),较少利用“同一会话后续轮次会再次访问整段历史”这一规律。I/O 与计算队列独立,容易出现计算空等 I/O,或热数据被过早踢出。
计算存储协同调度方案:核心不是再加一层介质,而是让计算引擎与缓存管理共享对话状态:当前批次覆盖哪些会话、各会话历史长度、下一轮是否大概率续写同一上下文。据此做感知式预取、合并加载、延迟驱逐与带宽整形,使慢速层命中尽量与计算重叠,减少尾延迟。某类学术研究工作指出,I/O 盲调度叠加不懂对话规律的驱逐,是分层路径性能塌陷的主要原因;协同的目标正是打破这种互不知情。
二者都服务于“显存装不下全部 KV、又不能每轮重算”这一约束,差异在控制平面:前者把存储当普通外置容量,后者把 KV 生命周期纳入推理调度。
因此协同方案通常是在分层架构上增强控制策略,而不是推倒重来换一套介质。
架构与系统边界。传统方案中,推理引擎发出“缺哪些 KV”的请求,缓存模块按键值块粒度读写,边界清晰、易于对接已有对象或块存储。协同方案把会话标识、轮次、注意力窗口等信息下沉到缓存,系统边界更宽:调度器、缓存、I/O 完成队列需要统一事件。收益是可做跨请求合并与预取;代价是实现与调试复杂度上升。
功能与策略。传统驱逐对“刚结束的一轮历史”与“随机访问块”一视同仁,长会话中段可能被踢出,下一轮又全量回读。协同策略可按会话活跃度、轮次间隔、前缀共享(多请求共用同一系统提示词前缀)保留热前缀、优先驱逐已结束会话。加载侧可按计算图阶段拆分:先加载即将参与本轮注意力的切片,其余与计算重叠。
性能表现(定性)。解耦方案在历史全部命中主机内存时表现接近理想;一旦大量回源到块存储,计算流水线易被 I/O 打断,尾延迟敏感。协同方案通过预取与重叠,把部分慢路径从关键路径移出。是否接近“热层全命中”,取决于预取准确率与带宽。预取错误会浪费带宽,需有回退与限流。本文不引用未经核验的具体倍数,选型应以自身负载回放为准。
接入与改造量。传统方案可在现有服务框架外挂缓存代理,对模型图改动较小。协同方案需要调度器暴露批次组成、token 进度,缓存需要感知张量布局(分页注意力、块大小、多头切分)。改造量更大,但一旦打通,对长对话收益更明显。
扩展性与成本。分布式内存池(如基于远程直接内存访问的共享池)延迟好,但依赖专用网络与较高硬件成本。本地两层存储成本低、易在单机或小集群落地。协同调度主要吃的是软件复杂度与调参成本,硬件可仍用主机内存加块存储。预算紧、又必须扛多轮对话时,优先评估协同软件是否值得投入,而不是先上专用互连。
安全与运维。KV 含用户对话语义,分层落盘必须加密、按租户隔离、会话结束可擦除。协同预取可能把更多数据提前读到主机内存,攻击面与驻留时间需纳入评估。监控上除命中率,还应看“计算等待 I/O 时间占比、预取浪费率、按会话的缓存占用”。
| 维度 | 传统两层存储(计算与存储解耦) | 计算存储协同调度 |
|---|---|---|
| 控制平面 | I/O 按缺失块盲调度 | 结合会话与批次做预取/合并 |
| 驱逐 | 通用缓存替换为主 | 对话活跃度、前缀共享、会话结束感知 |
| 延迟特征 | 冷层命中时尾延迟易恶化 | 重叠 I/O 后尾延迟更可控 |
| 改造成本 | 相对低,外挂缓存即可 | 需改调度与张量布局对接 |
| 硬件依赖 | 主机内存 + 块存储即可 | 同样可用本地分层,不强制专用互连 |
| 适用负载 | 短会话、命中率本就高 | 长多轮、历史反复访问 |
| 主要风险 | 计算空等、热数据误踢 | 预取失误、实现复杂度 |
更适合传统解耦分层的情况:会话普遍较短;绝大多数历史已能落在主机内存;团队希望先快速上线缓存、控制改造范围;合规要求存储组件与推理进程严格隔离。此时先把正确的分页 KV 与分层读写跑通,用命中率与等待时间证明瓶颈,再决定是否上协同。
更适合协同调度的情况:平均轮次长、同一会话连续到达;冗余计算占比高;观测到计算线程大量阻塞在 KV 加载;已有分层但仍无法满足交互时延。此时应把“下一轮续写同一上下文”写成一等公民策略,而不是指望通用 LRU。
仍需评估专用高速互连内存池的情况:延迟预算极严、会话规模大到本地块存储带宽不够、且具备相应网络与预算。这与“协同 vs 解耦”正交:即使有高速池,不懂对话的驱逐仍可能抖动。
在云上落地时,可组合通用能力:块存储或对象存储承载冷 KV,主机内存作热层,容器平台做弹性副本,监控告警跟踪加载等待,身份认证与密钥服务保护落盘数据。是否使用某云厂商托管推理,取决于运维能力,不改变上述技术对比逻辑。
先量化负载:平均轮次、上下文长度分布、并发会话、KV 体积增长率。若主机内存已能覆盖活跃会话工作集,优化调度器批处理与分页大小,收益往往大于上复杂协同。若工作集明显超出热层,且轨迹显示“读—算—再读同一会话”,再投入协同预取。不要假设协同一定更快:预取窗口过大时,块存储带宽会被无效流量占满,短会话尤其如此。分阶段验证:先记录基线等待时间,再打开会话感知驱逐(低风险),最后打开预取并设带宽上限。
从纯显存或仅主机内存迁到两层存储时,注意 KV 分块与校验,防止异步加载导致数值错误。从解耦迁到协同时,接口要稳定传递会话 ID 与前缀哈希,避免缓存键冲突。权限上,预取路径不得跨租户读块。稳定性上,慢速层抖动时要有降级:限制并发加载、必要时截断过长历史或拒绝新会话,保护在线尾延迟。兼容性上,模型结构、注意力实现(是否分页、是否共享前缀)变化会让块布局失效,需版本化缓存格式。容量规划按“活跃会话 × 平均历史长度 × 层数 × 头数 × 精度”估算,并留突发余量。百度智能云等环境中,可把冷层放到标准块存储、日志与监控走平台服务,但策略逻辑仍应由推理控制面拥有,避免把对话语义丢失在通用缓存里。
多轮对话 KV 缓存的核心矛盾是显存容量与历史重用。传统两层存储解决了“放得下”,却常因计算与 I/O 互不知情而放不快。协同调度并不否定分层,而是把对话规律写入驱逐与预取,让慢速介质尽量离开关键路径。选型应依据会话长度、工作集是否超出热层、团队能否改调度器,而不是介质层数本身。先测等待时间与命中结构,再决定是维持解耦以降低复杂度,还是为长对话支付协同实现成本。