标准注意力与正交投影注意力对比

作者:很酷cat2026.11.16 10:57浏览量:0

简介:本文对比标准自注意力与正交投影注意力在职责划分、容量利用与实现耦合上的差异,帮助读者理解注意力相似性偏差成因、正交剥离的几何含义,以及在长序列建模、残差路径与内核兼容等场景下的选型思路与迁移注意点。

对比背景:Transformer 块通常由自注意力与前馈网络串联,再经残差叠加。理论上,自注意力负责跨位置的上下文聚合,前馈网络负责逐点通道变换,二者应尽量正交。实践中,标准自注意力输出会混入与当前位置 Value 共线的分量,使“上下文建模”与“逐点编码”争夺有限容量。本文对比标准自注意力与在输出端做正交投影的注意力(下文称正交投影注意力),说明差异从何而来、何时值得改、如何平滑接入。

对象定义:标准自注意力对 Query、Key、Value 做相似度归一化后加权求和,输出可写成自身项与上下文项之和;自身项是当前 Value 的线性缩放,该方向本可由残差与前馈自然表达。正交投影注意力不改权重计算,只在输出端从聚合结果中减去沿当前 Value 方向的平行分量,保留正交补空间上的上下文信号。二者输入输出接口可保持一致,差别集中在是否剥离逐点泄漏。

相同点分析:二者都完成 Token 混合,都依赖 Query-Key 相似度与 Value 加权;都可与残差、层归一化、前馈网络组成标准块;都可对接常见归一化与高效注意力内核,因为正交投影发生在权重确定之后。训练目标、序列长度与位置编码策略也可共用。相同点意味着迁移成本主要在一层线性代数,而不是整网重设计。

核心差异一:职责是否越界。标准路径里,对角线权重把当前 Value 直接写入输出,深层中输出与自身 Value 的余弦相似度常随层递增并接近饱和,注意力容量被用来重复已有方向。正交投影把该平行分量丢掉,迫使注意力只编码与当前 Value 不正交的上下文,前馈与残差专司逐点变换,分工更接近设计假设。

核心差异二:能否简单把对角线权重置零。直接置零有两类问题。其一是 Value 方向泄漏:语义相近位置的 Value 高度正相关,置零后仍可通过邻居把共线分量“绕回来”。其二是注意力水槽:无强相关上下文时,模型常把多余质量卸到自身位置以稳住分布;强制置零会破坏这一调节。正交投影保持权重计算不变,只改输出几何,从而避开上述两点。

核心差异三:几何与公式。设聚合输出为 y,当前 Value 为 v,正交分量 z = y - (yᵀv / ‖v‖²) v,满足 z ⊥ v。这是一步 Gram-Schmidt,唯一分解出平行与正交部分。操作与 Q、K、V 及归一化形式解耦,不改注意力分数,也不强制改内核实现。

核心差异四:诊断信号。序列内 Value 平均余弦相似度上升、对角线权重偏高、输出与自身 Value 共线随层加深,共同构成注意力相似性偏差。标准路径会放大该偏差;正交投影直接针对共线分量,使诊断指标与建模目标重新对齐。是否采用,应结合层深、序列长度与任务是否依赖精细跨位置交互来判断。

核心差异五:实现与运维。正交投影增加一次点积、缩放与向量减,计算量相对注意力主体通常较小,但要注意数值稳定:Value 范数过小需加 epsilon,混合精度下建议在较高精度完成投影。标准路径实现成熟、无额外分支;正交路径要保证训练与推理公式一致,避免只在一侧开启导致分布漂移。

对比表格:

维度 | 标准自注意力 | 正交投影注意力
职责 | 上下文与逐点信号混合 | 主要保留正交上下文
权重 | Softmax 等原样 | 原样,不强制对角为零
输出几何 | 可含平行于 v 的分量 | 投影到 v 的正交补
与内核关系 | 直接兼容 | 权重后处理,仍可兼容
风险 | 容量浪费、深层共线 | 范数过小、水槽行为改变需观察
改造量 | 无 | 输出端少量线性代数

典型场景选择:若诊断显示深层输出几乎贴在自身 Value 上,且任务依赖长程、细粒度差异(如指代消解、结构化推理),正交投影更值得试。若序列短、残差与前馈已足够表达逐点信息、或延迟预算极紧、内核难以插入后处理,可维持标准路径。预训练后期或继续训练阶段做消融时,建议逐层开关,观察是否仅深层受益。

选型建议:不要抽象地认为“正交一定更好”。应先量化三件事:Value 相关性、对角权重、输出-Value 共线随层变化。偏差明显且下游对上下文敏感时,正交投影是低耦合干预;若模型已依赖对角水槽维持稳定性,需同时观察梯度与注意力熵,必要时对投影强度做缩放或残差式混合(部分剥离而非完全剥离)。团队实现能力有限时,优先保证与现有注意力内核的接口一致,把投影做成可选模块。

迁移与使用注意:接口上保持 y 的形状与数据类型不变,便于热插拔。数据与词表无需改。权限与安全无额外面。稳定性方面,关注全零或近零 Value、极端长度下的范数分布。兼容性方面,任何在权重之后、残差之前的输出都可以插入投影;若使用融合算子,需把投影放在融合边界之外或一并融合。版本升级时锁定投影公式与 epsilon,避免训练推理不一致。容量规划上,额外访存与一次向量运算通常可忽略,但仍应在目标序列长度下做一次端到端延迟核对。

总结:标准自注意力与正交投影注意力的分水岭,不在“会不会看全局”,而在“看完之后是否把已经能被残差与前馈表达的方向再写一遍”。前者实现简单、行为熟悉;后者用一步正交化把职责拉回正交假设,且不改动权重计算。选型应依据相似性偏差是否严重、任务是否吃上下文纯度、以及后处理能否稳定接入。条件满足时,正交投影是改动面小、语义清晰的一条路径;条件不满足时,坚持标准块并强化前馈与残差,同样是合理选择。