简介:本文对比Transformer中两种截然不同的"记忆组织方式":以传统FFN为代表的动态计算式记忆,与新兴的静态查表式记忆。文章围绕记忆访问机制、参数可编辑性、计算效率、容量扩展性与迁移成本等维度展开,帮助读者理解"算地址"与"查地址"的本质差异,并给出分场景的选型建议与落地注意事项。
随着大模型参数规模与知识密度持续上升,一个底层问题被重新推到台前:模型的参数究竟应该怎样组织,才能最高效地承担”记忆”这一职责?
在标准Transformer中,前馈网络(FFN)承担了大量事实性与模式性知识的存储。以SwiGLU这类结构为例,知识通常隐式地埋藏在up-projection等稠密权重矩阵里,通过输入相关的矩阵乘法被动态”激活”。这种设计保证了表达力,但在三个层面存在天然局限:参数的可寻址性差、后期难以定点编辑、以及稠密矩阵乘法带来的计算开销。
为突破这些瓶颈,业界逐渐转向更离散、更结构化的参数组织路线。其中一类方案是在既有的稀疏路由(如混合专家)上做修补;另一类则更激进,直接对FFN结构”动刀”,用按token索引的静态查表替换掉动态的地址计算。本文对比的,正是这两条技术路径:动态计算式记忆 与 静态查表式记忆。
方案A:动态计算式记忆(传统FFN)
在SwiGLU等结构中,输入先经过up-projection被映射到高维空间,生成一个可被门控(gate)调制的”地址向量”,再经down-projection压回原维度。知识以隐式方式分布在整个稠密矩阵中,记忆的”地址”是每次前向传播时依据输入实时计算出来的。
方案B:静态查表式记忆
该方案的核心动作有三步:移除up-projection,不再动态计算地址向量;为每一层单独维护一张按token索引的embedding表;前向传播时直接根据token id”查表”取出对应静态向量,作为原先up-projection的输出。此后仍保留gate与down-projection,用于对查表结果做上下文相关的压缩与调制。
两者最本质的差异可以一句话概括:一个是在算地址,一个是在查地址。
尽管实现路径不同,两种方案在以下方面高度一致:
1. 记忆访问机制
动态方案每次都要用输入相关矩阵算出地址向量,计算密集;静态方案将token id当作直接索引,查表动作本身近似一次gather操作,轻量得多。
2. 参数可寻址性与可编辑性
动态方案中知识弥散在稠密矩阵内,想改”某个token对应的知识”几乎无法定位到具体权重。静态方案把记忆显式地按token摆放在表里,天然可寻址、可定点替换、可审计,这对知识更新与治理是显著优势。
3. 计算与容量的耦合关系
这是静态方案最关键的价值:通过取消up-projection,它把”记忆容量”与”单token计算量”解耦。想扩容,只需增加embedding表的行数,而不必然抬高每个token的矩阵乘法开销。动态方案里,提升记忆容量往往意味着更大的稠密矩阵,直接推高计算量。
4. 上下文建模的归属
动态方案的地址向量是输入相关的,上下文信息内嵌在地址计算里;静态方案中某个token对应的向量是固定的,上下文建模的压力被转移到了gate与down-projection上。因此静态方案能否胜任,很大程度上取决于这两个模块的设计容量。
5. 稀疏访问的工程特征
静态查表天然是稀疏访问模式:不同token命中的是表里不同的行。工程上这更接近gather/scatter类操作,对访存模式、显存/内存布局与kernel实现有特定要求,与传统稠密矩阵乘法的优化路径不同。
| 维度 | 动态计算式记忆 | 静态查表式记忆 |
|---|---|---|
| 记忆访问 | 输入相关矩阵乘法,动态算地址 | 按token id直接查表 |
| 参数组织 | 稠密权重矩阵,隐式存储 | 显式embedding表,按token索引 |
| 可编辑性 | 差,知识弥散难定位 | 好,可定点替换与审计 |
| 单token计算量 | 较高(up-projection) | 较低(免除up-projection) |
| 容量与计算 | 相互耦合 | 解耦,扩容不必抬升算力 |
| 上下文建模 | 内嵌于地址计算 | 转移至gate与down-projection |
| 访问模式 | 稠密计算 | 稀疏gather,访存特征不同 |
| 生态成熟度 | 成熟,管线完善 | 较新,需架构调整与训练 |
# 方案A:动态计算式记忆(示意)def ffn_dynamic(x):h = up_projection(x) # 用输入实时计算"地址向量"h = gate(x) * h # 门控调制return down_projection(h)# 方案B:静态查表式记忆(示意)def ffn_lookup(token_ids, ctx_input):e = embedding_table[token_ids] # 按token id直接查表,无需算地址e = gate(ctx_input) * e # 保留gate,由上下文做调制return down_projection(e)
选型不宜绝对化,应结合约束条件判断:
两种记忆机制的分水岭在于“算地址”还是”查地址”。动态计算式记忆用输入驱动的稠密矩阵换取灵活的表达力,代价是参数难寻址、难编辑、容量与算力耦合;静态查表式记忆用显式、可按token索引的表结构,换来了可编辑、可审计、以及记忆容量与单token计算的解耦,代价是架构需重构、访存模式改变、上下文建模压力转移。
决策时不必二选一。可先明确核心约束——是更看重知识的可治理与可编辑,还是更看重生态成熟度与训练稳定性——再结合业务对容量、上下文复杂度与推理性价比的具体要求,做条件化的评估与验证,而非套用绝对结论。