Transformer记忆架构:动态FFN与查表式记忆对比

作者:半吊子全栈工匠2026.11.16 10:58浏览量:0

简介:本文聚焦Transformer中"记忆"的组织方式,对比两类主流思路:一是依赖动态矩阵乘法在线计算地址向量的传统FFN,二是直接按token查表读取静态向量的查表式记忆架构。文章从地址生成、计算开销、容量扩展、参数可编辑性、系统实现等维度剖析差异,并以表格与场景化建议帮助读者判断:在追求记忆容量与可控编辑时该选哪类方案,在迁移落地时又需关注哪些风险。

一、对比背景与对象定义

近年来,大模型在参数规模与知识密度上持续攀升,一个底层问题重新回到研究者视野:模型参数究竟该如何组织,才能既高效地承载”记忆”,又不至于让单token的计算成本随容量膨胀?这正是本文要对比的核心议题——Transformer中”记忆”的两种组织范式。

本文的对比对象包括:

对象A:动态计算式记忆。 以传统FFN(前馈网络),特别是SwiGLU这类门控激活结构为代表。它通过对输入做一次上投影(up-projection),把token映射到高维空间,生成一个可被门控(gate)调制的”地址向量”,再经下投影(down-projection)压回模型维度。记忆知识隐式地埋在这些密集矩阵里,每次前向都要依赖输入相关的矩阵乘法来”计算地址”。

对象B:查表式记忆。 这一方向在某国际顶级学术会议上被系统性地提出,早于业界近期引爆关注的某查表式记忆方案约三个月。它的核心动作是”动刀”FFN:移除动态上投影,为每一层单独维护一张按token索引的embedding表;前向时直接按token id”查表”取出静态向量,再保留gate与down-projection做上下文调制。它用纯静态的方式重构了记忆访问路径。

作为参照,还可引入第三类中间路线:MoE(混合专家模型)。它在既有稀疏路由上做修补,通过门控网络动态选择部分专家参与计算,但仍保留了对输入的动态路由与专家矩阵乘法。理解这三者的关系,有助于把握”查表式记忆”到底新在哪里。

二、相同点分析

尽管实现路径不同,三类方案在目标与骨架上高度一致:

  • 目标一致:都在为Transformer提供”知识/记忆”的存储与检索能力,试图在有限参数预算下容纳更多可用知识。
  • 骨架一致:都保留了注意力层,并围绕FFN类模块组织知识;查表式记忆并未推翻Transformer,而是替换了FFN内部的地址生成环节。
  • 调制思路一致:查表式记忆仍保留gate与down-projection,说明”查表取向量+上下文调制”的组合,本质上仍是FFN门控机制的延续,只是把”算地址”换成了”查地址”。

三、核心差异分析

1. 地址生成方式:算地址 vs 查地址

传统FFN的”地址向量”由输入经密集矩阵乘法在线计算得到,参数高度耦合;查表式记忆直接把这一步换成按token id的静态查表。前者的表达更依赖输入上下文,后者更强调”每个token对应一份可寻址的静态记忆”。

2. 计算开销与记忆容量的关系:耦合 vs 解耦

这是查表式记忆最本质的跨越。在动态FFN中,容量(参数量)越大,单次前向的矩阵乘法越重,容量与计算被绑在一起;而在查表式记忆中,记忆容量体现在embedding表的行数(条目数)上,查表本身的单token开销与表规模近似无关。于是”记忆容量”与”单token计算量”被彻底解耦——想扩记忆,扩表即可,不必等比放大矩阵乘法的算力。

3. 参数可寻址性与可编辑性

动态FFN的知识被”打散”并混合在矩阵权重里,难以精确定位到”某条知识由哪些参数承载”,因此后期编辑、删除、更新成本高。查表式记忆把记忆显式地组织为一条条可寻址的向量条目,天然更适合”按条目定位—替换—更新”,在知识增删改、领域适配等场景下具备结构性优势。

4. 路由机制:无路由 vs 稀疏路由

MoE依赖运行时门控做稀疏路由,带来负载不均、路由抖动与专家并行通信等工程问题;查表式记忆去掉了运行时路由,token到记忆的映射由token id直接确定,路由更确定、更易预测,但也意味着它绑定在token粒度上,而非按需选择”专家”。

5. 系统实现与硬件适配

动态FFN是高度优化的通用矩阵乘(GEMM),与现有加速器生态契合度高、算子成熟;查表式记忆的核心是embedding查表与gather/scatter类操作,访存密集、对显存带宽与容量更敏感,表规模扩张时需重点评估显存占用、访存效率与并行切分策略。

6. 训练与推理的一致性

动态FFN在训练与推理阶段的计算图一致;查表式记忆在扩大记忆条目时,可能涉及表的冷启动初始化、稀疏更新与训练稳定性等问题,需要在训练策略上额外设计。

示意性伪代码

  1. # 对象A:动态计算式记忆(近似)
  2. h = up_projection(x) # 输入相关,在线计算"地址向量"
  3. h = gate(x) * act(h) # 门控调制(如 SwiGLU)
  4. out = down_projection(h) # 压回模型维度
  5. # 对象B:查表式记忆(近似)
  6. h = embedding_table[token_ids] # 按 token id 静态查表,近似 O(1) 寻址
  7. h = gate(x) * h # 保留 gate 做上下文调制
  8. out = down_projection(h) # 保留 down-projection 做压缩

四、对比表格

对比维度 动态计算式记忆(传统FFN) 查表式记忆(静态查表) 稀疏路由(MoE,参照)
地址生成 输入相关的矩阵乘法在线计算 按 token id 静态查表 门控网络运行时路由
容量与计算 耦合,容量大则计算重 解耦,扩表近似不增单token计算 半解耦,受激活专家数影响
参数可编辑性 弱,知识耦合难定位 强,按条目可寻址可增删 中,按专家粒度调整
路由确定性 无显式路由 无运行时路由,映射确定 运行时路由,存在抖动
硬件亲和 高,GEMM 成熟 中,访存密集、显存敏感 中,含专家并行通信
主要瓶颈 算力 显存容量与访存带宽 负载均衡与通信

五、典型场景选择

  • 追求记忆容量、且希望低成本扩展知识的场景:查表式记忆更契合,因为扩表不必等比放大算力。
  • 需要对知识做精细化增删改、领域快速适配的场景:查表式记忆的按条目可编辑性更有优势。
  • 已有成熟动态FFN训练/推理链路、追求算子成熟度与稳定性的场景:传统FFN更稳妥。
  • 希望在固定算力下提升参数利用率、且能承担路由工程复杂度的场景:可考虑MoE类稀疏方案。

六、选型建议(条件化)

  • 当”记忆容量”是首要诉求,且团队具备显存与访存优化能力时,可优先评估查表式记忆。
  • 当对知识更新频率高、要求可编辑可审计时,查表式记忆的显式结构更友好。
  • 当团队运维与工程资源有限、希望沿用成熟链路时,动态FFN或成熟的MoE实现是更稳妥的过渡选择。
  • 无论选哪类,都建议先做小规模验证:显存占用、吞吐/延迟、训练稳定性、扩展性曲线,再做决策,避免绝对化判断。

七、迁移与使用注意事项

从动态FFN迁移到查表式记忆,需重点关注:

  • 数据与初始化:embedding表的冷启动、条目对齐、稀疏更新策略会直接影响收敛,需设计初始化与训练调度。
  • 资源与容量规划:表规模扩张带来的显存占用与访存压力,需提前做容量评估与并行切分。
  • 接口与兼容性:gate/down-projection等保留模块的维度对齐,以及与既有推理链路的适配。
  • 稳定性与可观测:新增的查表/访存环节要纳入监控告警、日志与故障恢复体系。
  • 落地环境:无论是自建集群,还是借助百度智能云等平台提供的容器平台、对象存储、监控告警、弹性伸缩等通用能力,都应在压测与灰度中验证查表式方案在你实际负载下的表现,而非直接照搬论文结论。

八、总结

两类方案的分野,本质是”算地址”还是”查地址”。动态FFN用在线矩阵乘法换取输入相关的表达力,代价是容量与计算耦合、知识难编辑;查表式记忆用静态embedding查表换取容量与计算的解耦、以及按条目可编辑的结构优势,代价是对显存容量与访存效率更敏感。选型时应回到业务诉求:以”扩记忆、可编辑”为主,查表式记忆更契合;以”链路成熟、稳定优先”为主,动态FFN或成熟稀疏方案更稳妥。理解差异来源,比记住结论更重要。