简介:近年来,主流大模型平台在架构探索中提出了一种名为"Looped Transformer"(循环式Transformer)的设计思路,并出现了9B级别开源实践。本文系统解析什么是Looped Transformer循环架构,讲清它的定义、运行原理、能力提升逻辑与适用边界,帮助开发者和技术选型人员理解"如何在控制参数规模的同时,通过增加有效计算深度释放模型潜力"这一关键问题。
Looped Transformer(循环式 Transformer)是一类对传统 Transformer 结构的改良设计。它的核心思想是:不再单纯依靠”堆叠更多层”来增加模型深度,而是让模型的某一段(或整个)计算模块以循环、复用的方式被反复调用,从而在不显著增加参数量的前提下,扩展模型的有效计算深度。
用一句话概括:Looped Transformer 通过参数共享 + 循环计算,把”深度”和”参数规模”解耦。 传统的深层模型里,层数增加意味着参数几乎同步增加;而在循环架构中,同一组参数可以被多次进入、反复加工,计算深度上去了,但参数量保持可控。
从三个视角理解它更清晰:
要理解循环架构的价值,需要先看清当前大模型发展的一个结构性矛盾。
传统 Transformer 的提升路径高度依赖参数规模的扩张——更多层、更宽隐藏维度、更大参数量。这条路径虽然在通用能力上成效显著,但也带来几个绕不开的问题:
业界由此形成一个值得探索的方向:能否在参数规模可控的前提下,通过增加”有效计算深度”来释放模型潜力? 这里的”有效计算深度”指的是模型对输入实际执行了多少轮实质性的信息加工,而非物理上的层数堆叠。
这正是 Looped Transformer 的切入点。它的价值在于:
值得注意的是,这类探索过去多停留在学术研究层面,社区长期缺乏可直接面向日常使用的循环架构模型。一个 9B 级别的开源实践之所以有意义,正在于它填补了”从论文走向可用模型”之间的空白,让工程界能够真正上手验证、复现和二次开发。
尽管不同实现细节各异,一个典型的 Looped Transformer 通常包含以下几个关键要素:
可以用下面的示意伪代码理解循环架构的执行流程(仅为通用示意,非特定实现):
def looped_transformer_forward(x):# 1. 输入嵌入与预处理h = embed(x)# 2. 循环调用同一组共享参数的核心模块for step in range(num_loops): # num_loops 可固定或自适应h = looped_block(h, shared_weights) # 复用同一组权重# 可选:根据当前状态判断是否需要继续循环if should_stop(h, step):break# 3. 输出投影return output_projection(h)
关键在于第 2 步:looped_block 携带的 shared_weights 在每一轮都是同一组参数,但输入 h 在不断被加工。这带来两个直接效果:
同时,”是否继续循环”的判断构成了自适应”快慢思考”的基础——简单问题可以少循环、快速给出答案(快思考);复杂问题则多循环、反复推敲(慢思考)。这种动态分配计算资源的方式,正是循环架构相比固定层数网络的一个显著优势。
循环架构的特性决定了它更契合以下场景:
在选型与落地时,建议关注以下几点:
Looped Transformer(循环式 Transformer)的核心定义是:以参数共享的循环计算,在控制参数规模的同时扩展模型的有效计算深度。 它回应的是大模型发展中”参数扩张边际收益递减、深度受限、成本高企”的现实矛盾,提供了一种”用更少参数、更灵活计算换取更强复杂任务处理能力”的思路。
从价值上看,它把深度与参数解耦,并通过自适应”快慢思考”实现计算资源的动态分配;从边界上看,循环次数权衡、训练稳定性、大规模 scaling 验证仍是需要谨慎对待的工程问题。对于希望在参数效率与推理能力之间取得平衡的团队,循环架构是一个值得持续关注和实测验证的架构方向。