简介:摘要:本文系统介绍Looped Transformer(循环Transformer)这一新兴模型架构概念,阐述其通过复用同一组权重反复计算来提升推理深度的核心思想,解析其相对传统堆叠式架构的优劣、代价与适用场景,并讨论架构选型时的关键注意事项,帮助技术读者快速建立对这一方向的完整认知。
Looped Transformer(循环Transformer)是一种通过循环复用模型权重来增加计算深度的神经网络架构思路。它的核心做法是:不通过堆叠更多、彼此独立的Transformer层来加深网络,而是把同一组Transformer block的参数反复施加多次,用循环次数换取更长的“有效计算深度”。
从定义上看,可以从三个视角理解它:
与之相对的传统做法是“堆叠式架构”:模型深度等于层的数量,每一层拥有独立参数,深度与参数量绑定增长。Looped Transformer正是对这种绑定关系的打破。
传统大模型的深度扩展面临两重约束:
1. 参数量与计算深度强耦合。 想要更深的推理链条,就必须增加层数,也就必须增加参数量。参数量直接决定显存占用和模型体积,在部署资源受限的场景下,这条扩展路径的代价很高。
2. 不同任务对“计算量”的需求差异巨大。 一个简单的问答可能几层计算就足够,而复杂的多步推理(数学推导、代码生成、逻辑链条)则需要更长的计算路径。堆叠式架构对所有输入使用统一的固定深度,无法按需分配计算资源。
循环架构的价值正在于此:通过循环次数这一可调维度,把“模型有多大”与“算多少步”分离开。对于能力相对固定、参数受限的模型,循环可以在不增参数的前提下显著提升其在需要深度推理的任务上的表现。业界普遍认为,这类“权重共享+迭代计算”的思路会是下一代模型架构的重要组成方向之一,部分头部模型被推测已引入类似机制。
一个典型的Looped Transformer可以抽象为如下结构:
输入嵌入 x│├── 循环第1次:Block_w(x) → h1├── 循环第2次:Block_w(h1) → h2├── ...├── 循环第N次:Block_w(hN-1) → hN│└── 输出头(hN)
关键组成包括:
从原理上理解,反复施加同一变换的过程,本质上类似于用固定算子做迭代求解。理论上,某些迭代计算过程可以收敛到不动点,相当于用有限参数模拟了“无限深度”的计算图。同时,训练时使用权重共享还能带来正则化效应,一定程度上缓解过拟合。
循环增加计算深度并非免费,主要代价包括:
Looped Transformer思路适合以下场景:
在实际选型与实践中,建议关注:
Looped Transformer是一种“以循环换深度、以复用省参数”的模型架构思路:它用同一组Transformer block的多次迭代施加,在不增加参数量的前提下拉长有效计算深度,从而在参数受限条件下增强模型的推理能力。它的核心价值在于解耦参数规模与计算深度,代价则是推理时延上升和训练难度增加。对于需要深度推理但参数预算有限的应用、以及希望按输入复杂度动态分配算力的服务场景,循环架构是值得认真评估的重要技术方向;而在延迟极敏感、任务深度需求单一的场景中,则应谨慎权衡其收益与成本。