简介:本文从定义出发系统梳理自回归语言模型的数学本质、特征提取约束与主流架构演进逻辑,指出"预测时刻t只能依赖历史信息"并不等价于"特征提取阶段必须严格单向",并通过一个纯卷积结构的小模型实验说明:双向信息流同样可以走通自回归路线。文章帮助读者理解注意力机制与Transformer并非序列建模的唯一选择,并给出选型与实验设计上的注意事项。
自回归(Autoregressive)语言模型是一类通过”逐词预测下一个词”的方式对文本序列进行建模的概率模型。其数学定义非常简洁:
P(x₁, x₂, …, xT) = ∏ P(x_t | x₁, x₂, …, x{t-1})
即联合概率被分解为一系列条件概率的乘积,在预测第 t 个位置 token 时,模型只能使用其左侧(历史)上下文 x_{i<t},而不能使用未来的信息。
从概率建模角度看,这个定义只约束了”预测时刻的信息可用范围”,并未对”历史序列内部的特征提取方式”做出任何限制。这一点是理解后续讨论的关键,也是许多开发者容易混淆的地方。
当前大语言模型的主流路线几乎都采用基于自注意力机制的解码器架构,原因主要有三点:
但需要清醒认识:某先行者机构率先走通并验证了这条路线,并不等于它是唯一可行路线。技术史上”成功者的事后叙事”常常掩盖了被放弃的替代方案,盲目跟随可能错过同样有价值的探索。
目前主流实现(无论是循环网络还是Transformer)实际上采用了一个比自回归原始定义更严格的约束:
对任意位点 xm,其特征提取只能使用 x{i<m} 的信息。
也就是说,历史序列内部的每个位置也都被强制单向化。然而自回归定义只要求”预测 x_t 时不看未来”,并没有规定”提取历史序列特征时内部也必须单向”。
这带来一个思路:在提取历史上下文 x_{i<t} 的特征时,允许序列内部采用双向信息流,仅保证在最终预测头处满足”只看历史”的约束。这样既严格满足自回归定义,又能让特征提取更充分地利用上下文两侧的局部结构。
一个验证该思路的小型实验可以这样设计:
模型结构:仅使用纯卷积网络(不引入自注意力)作为序列建模主干,通过卷积的局部感受野堆叠,在内部允许双向信息流;在输出端施加因果约束,保证预测第 t 个位置时只依赖前 t-1 个位置。
参考配置:
关于分词需要特别说明:许多开发者认为常用分词工具(如基于子词的分词器)在中文上实现了”词级”切分。实际上由于这些分词器的词表主要来自其他语言语料,面对中文时往往退化为单字级切分。因此字符级分词在中文场景下并非”偷工减料”,而是与主流做法本质一致,且更简洁、无未登录词问题。
训练结果:训练约 2.84 亿 token 后,损失收敛到 3.45~3.55。作为参照,业界公开的中文自回归小模型在约 104 亿 token 的通用中文语料上最终收敛到 3.35;另一早期开源项目报告的收敛区间约为 3.25~3.61。考虑到训练数据量仅为参照模型的零头(约 1/36),该结果处于合理且可接受的水平,说明纯卷积结构完全具备训练收敛的能力。
这一结果印证了”注意力并非你唯一需要的,Transformer 也不是你唯一需要的”:自回归的本质是预测约束,而非某种特定算子。
实现上可以通过掩码或输出位置对齐来保证因果性。示意伪代码如下:
# h = 双向卷积主干(历史序列 x[:t]) # 内部双向信息流# logits_t = 输出头(h[t-1]) # 仅由前 t-1 个位置决定for t in range(1, T + 1):h = ConvBackbone(x[:t]) # 双向特征提取logits[t] = OutputHead(h[t-1]) # 因果预测约束
关键原则只有一条:约束落在”预测某位置时不可见该位置及之后的信息”上,而特征提取层可以在历史片段内部自由使用双向上下文。这与文本编码类模型中的”双向编码+自左向右生成”思路在精神上相通。
适用场景:中低资源预算的垂直领域小模型、端侧部署、超长上下文处理、以及作为对主流架构的对比基线研究。
选型注意:
自回归语言模型的本质是”预测只看历史”的概率约束,而非某种特定网络结构。主流解码器架构凭借并行性与可扩展性占据主导,但”历史序列内部允许双向特征提取”的纯卷积方案同样能走通自回归路线,并在有限算力下取得可接受的收敛水平。理解定义边界、保持对替代路线的开放态度,是做好模型选型与技术研究的基本功。