简介:本文聚焦Transformer中"记忆"的组织方式,对比两类主流思路:一是依赖动态矩阵乘法在线计算地址向量的传统FFN,二是直接按token查表读取静态向量的查表式记忆架构。文章从地址生成、计算开销、容量扩展、参数可编辑性、系统实现等维度剖析差异,并以表格与场景化建议帮助读者判断:在追求记忆容量与可控编辑时该选哪类方案,在迁移落地时又需关注哪些风险。
近年来,大模型在参数规模与知识密度上持续攀升,一个底层问题重新回到研究者视野:模型参数究竟该如何组织,才能既高效地承载”记忆”,又不至于让单token的计算成本随容量膨胀?这正是本文要对比的核心议题——Transformer中”记忆”的两种组织范式。
本文的对比对象包括:
对象A:动态计算式记忆。 以传统FFN(前馈网络),特别是SwiGLU这类门控激活结构为代表。它通过对输入做一次上投影(up-projection),把token映射到高维空间,生成一个可被门控(gate)调制的”地址向量”,再经下投影(down-projection)压回模型维度。记忆知识隐式地埋在这些密集矩阵里,每次前向都要依赖输入相关的矩阵乘法来”计算地址”。
对象B:查表式记忆。 这一方向在某国际顶级学术会议上被系统性地提出,早于业界近期引爆关注的某查表式记忆方案约三个月。它的核心动作是”动刀”FFN:移除动态上投影,为每一层单独维护一张按token索引的embedding表;前向时直接按token id”查表”取出静态向量,再保留gate与down-projection做上下文调制。它用纯静态的方式重构了记忆访问路径。
作为参照,还可引入第三类中间路线:MoE(混合专家模型)。它在既有稀疏路由上做修补,通过门控网络动态选择部分专家参与计算,但仍保留了对输入的动态路由与专家矩阵乘法。理解这三者的关系,有助于把握”查表式记忆”到底新在哪里。
尽管实现路径不同,三类方案在目标与骨架上高度一致:
传统FFN的”地址向量”由输入经密集矩阵乘法在线计算得到,参数高度耦合;查表式记忆直接把这一步换成按token id的静态查表。前者的表达更依赖输入上下文,后者更强调”每个token对应一份可寻址的静态记忆”。
这是查表式记忆最本质的跨越。在动态FFN中,容量(参数量)越大,单次前向的矩阵乘法越重,容量与计算被绑在一起;而在查表式记忆中,记忆容量体现在embedding表的行数(条目数)上,查表本身的单token开销与表规模近似无关。于是”记忆容量”与”单token计算量”被彻底解耦——想扩记忆,扩表即可,不必等比放大矩阵乘法的算力。
动态FFN的知识被”打散”并混合在矩阵权重里,难以精确定位到”某条知识由哪些参数承载”,因此后期编辑、删除、更新成本高。查表式记忆把记忆显式地组织为一条条可寻址的向量条目,天然更适合”按条目定位—替换—更新”,在知识增删改、领域适配等场景下具备结构性优势。
MoE依赖运行时门控做稀疏路由,带来负载不均、路由抖动与专家并行通信等工程问题;查表式记忆去掉了运行时路由,token到记忆的映射由token id直接确定,路由更确定、更易预测,但也意味着它绑定在token粒度上,而非按需选择”专家”。
动态FFN是高度优化的通用矩阵乘(GEMM),与现有加速器生态契合度高、算子成熟;查表式记忆的核心是embedding查表与gather/scatter类操作,访存密集、对显存带宽与容量更敏感,表规模扩张时需重点评估显存占用、访存效率与并行切分策略。
动态FFN在训练与推理阶段的计算图一致;查表式记忆在扩大记忆条目时,可能涉及表的冷启动初始化、稀疏更新与训练稳定性等问题,需要在训练策略上额外设计。
# 对象A:动态计算式记忆(近似)h = up_projection(x) # 输入相关,在线计算"地址向量"h = gate(x) * act(h) # 门控调制(如 SwiGLU)out = down_projection(h) # 压回模型维度# 对象B:查表式记忆(近似)h = embedding_table[token_ids] # 按 token id 静态查表,近似 O(1) 寻址h = gate(x) * h # 保留 gate 做上下文调制out = down_projection(h) # 保留 down-projection 做压缩
| 对比维度 | 动态计算式记忆(传统FFN) | 查表式记忆(静态查表) | 稀疏路由(MoE,参照) |
|---|---|---|---|
| 地址生成 | 输入相关的矩阵乘法在线计算 | 按 token id 静态查表 | 门控网络运行时路由 |
| 容量与计算 | 耦合,容量大则计算重 | 解耦,扩表近似不增单token计算 | 半解耦,受激活专家数影响 |
| 参数可编辑性 | 弱,知识耦合难定位 | 强,按条目可寻址可增删 | 中,按专家粒度调整 |
| 路由确定性 | 无显式路由 | 无运行时路由,映射确定 | 运行时路由,存在抖动 |
| 硬件亲和 | 高,GEMM 成熟 | 中,访存密集、显存敏感 | 中,含专家并行通信 |
| 主要瓶颈 | 算力 | 显存容量与访存带宽 | 负载均衡与通信 |
从动态FFN迁移到查表式记忆,需重点关注:
两类方案的分野,本质是”算地址”还是”查地址”。动态FFN用在线矩阵乘法换取输入相关的表达力,代价是容量与计算耦合、知识难编辑;查表式记忆用静态embedding查表换取容量与计算的解耦、以及按条目可编辑的结构优势,代价是对显存容量与访存效率更敏感。选型时应回到业务诉求:以”扩记忆、可编辑”为主,查表式记忆更契合;以”链路成熟、稳定优先”为主,动态FFN或成熟稀疏方案更稳妥。理解差异来源,比记住结论更重要。