简介:循环Transformer(Looped Transformer)通过在固定参数规模下引入循环计算,扩展模型的有效计算深度,是大模型架构演进的重要探索方向。本文系统梳理其定义、核心原理与价值,结合9B级开源实践说明其在复杂推理任务中的潜力,并对比传统堆叠式架构,分析适用场景、工程注意事项与未来趋势,帮助开发者与架构选型者理解这一"参数共享、深度可伸缩"的新范式。
循环Transformer是一种新型的大语言模型架构范式,其核心思想是:不再通过堆叠更多的Transformer层来增加网络深度,而是在较小的参数预算内,让同一组计算单元被多次复用(循环执行),从而在推理时动态扩展模型的有效计算深度。
传统大模型增加”思考能力”的方式通常是横向扩展:层数更多、参数量更大。而循环Transformer走的是另一条路径——纵向扩展计算深度:参数规模保持不变,但同一份权重在输入上被反复迭代,每多循环一次,相当于模型”多思考了一步”。
从技术视角看,它可以被理解为一种”参数共享 + 迭代计算”的结构:模型中嵌入一个可循环执行的Transformer模块,输出在条件满足或被强制截断之前,会再次作为输入回流到同一模块中。
大模型 Scaling 的瓶颈正在从”数据与算力”部分转向”参数效率与推理成本”:
循环Transformer正是针对这三个问题提出的架构思路:用参数复用换取有效深度的可伸缩性,让模型”参数少但算得深”,并按需分配计算。
以伪代码描述其通用计算过程:
x = embed(input)for t in range(max_loop):y = shared_transformer_block(x) # 复用同一组参数x = combine(x, y) # 状态更新与信息交互if stopping_criteria_met(x): # 自适应"快慢思考"breaklogits = lm_head(x)
可见,与传统结构相比,循环Transformer将”层的多样性”换成了”迭代的深度”,把模型的能力从”参数有多少”部分转移到”思考几步”。
参数共享带来两个直接收益:其一,训练与部署的显存占用显著低于同等有效深度的堆叠模型,9B级循环模型可以展现出远超其参数规模预期的推理能力;其二,通过控制循环次数,可以在同一套权重下实现”速度—精度”的灵活折中,这对成本敏感的企业推理场景很有价值。
循环Transformer代表了”以计算深度换能力”的新范式:在控制参数规模的前提下,通过循环计算扩展有效深度,并配合自适应”快慢思考”机制与参数共享设计,为突破模型能力与推理效率的边界提供了结构化思路。随着更大规模下的扩展性(Scaling)探索持续推进,这一架构有望在复杂推理、低成本部署等场景中与主流技术路线形成有效互补。对于开发者和选型者而言,理解其”参数固定、深度可伸缩”的本质,是评估与引入这类模型的前提。