简介:本文对比Transformer"权重反复使用"的两种典型思路——整网循环与中间层成组循环,解析它们在参数量、训练数据、训练算力(FLOPs)不同约束下的表现差异。帮你判断"省参数"与"省算力"该偏向谁,并给出循环次数、循环区间、低秩修正等关键注意事项。
在参数量与数据规模都受限的前提下,如何在不显著增加参数的同时提升模型表达能力,是模型结构设计中的长期命题。一种直观做法是让同一套 Transformer 层权重反复处理 token 表示:不为每一遍计算另存一套层权重,而是通过循环复用已有权重来提升”有效计算深度”。它把”加深”从”堆参数”里剥离出来,代价是每个 token 要被多算几遍。
但”反复使用权重”并不是只有一种写法,至少存在两条差异明显的路线:把整个 Transformer 块当作一个循环单元反复走(整网循环);或只让模型中央的一段层反复循环,两端各保留约三分之一只执行一次(中间层成组循环)。这两条路线在参数、数据、算力不同约束下的性价比并不一致,需要系统对比,而不是简单地认为”循环就一定省计算”。
整网循环(Whole-network recurrence): 把最后一层的输出重新送回第一层,让整个网络从头到尾重复若干遍。循环的”单元”是整个 Transformer,有效深度增加最直接、最均匀。
中间层成组循环(Middle-layer grouped recurrence): 只对中央一段层做重复,前约三分之一和后约三分之一只走一遍。它试图把循环限定在信息瓶颈更集中的中间区域,避免两端浅层与输出层被反复堆叠。
用通用伪代码可以直观区分两者:
# 整网循环:整个网络反复走h = embed(tokens)for _ in range(num_loops):for layer in all_layers:h = layer(h)# 中间层成组循环:只有中央段反复走,两端只走一遍h = embed(tokens)for layer in pre_layers: # 前约 1/3,只执行一次h = layer(h)for _ in range(num_loops):for layer in core_layers: # 中间约 1/3,反复循环h = layer(h)for layer in post_layers: # 后约 1/3,只执行一次h = layer(h)
整网循环每一遍都覆盖全部层,深度增长”均匀”,浅层与深层都会被重复训练;中间层成组循环把额外深度集中在中央段,两端保持单遍。这决定了二者在不同层上获取信息的方式不同,也直接影响后续稳定性。
循环存在明显上限:在 70M、100M 量级扫到 32 次时,可能出现饱和、退化或不稳定,数据越少出现得越早;200M–500M 的扫描通常只到 8 次,1B 只到 4 次。这意味着不能把在小模型上测到的 16 次、32 次直接当作大模型的有效范围。此外,注意力和 MLP 各自独立循环的方案尤其容易随次数增加而退化。相比之下,中间层成组循环通常循环次数更少、区间更可控,稳定性风险相对小,但需要额外决定”循环区间边界”和”两端各留多少”。
这是最关键的差异。在参数量与训练数据量都固定的比较中,整网循环通常能得到更低的 BPB,且这种优势在较大模型、较多训练数据下更清晰。但一旦把横轴换成总训练 FLOPs,在算力较少的区域,少循环几次的中间层成组循环反而更划算。换句话说:同样标称”多循环”,在”参数/数据受限”与”算力受限”两种命题下,最优解并不相同。
一个常见误区是把”少用训练 token”等同于”少用算力”。正确做法是先拟合无循环模型的缩放曲线,再估计达到循环模型同一 BPB 所需的数据或算力,把每一轮额外计算都算进总账。在测试过的高 token 预算区间,100M–1B 规模下、两次循环、TPP80 的模型,相对 TPP160 的无循环拟合基线仍保有 FLOPs 效率收益;四次循环能拿到更低的绝对 BPB,但每单位 FLOPs 的边际收益更弱——质量更好,不代表效率更高。
整网循环结构直接、实现简单,便于快速验证”循环是否有用”;中间层成组循环需要额外确定循环区间与两端比例,调参空间更大但复杂度更高。对于深层循环,逐轮低秩修正能以少量新增参数改善收敛与质量,是一种可选的补充手段;不过要注意,在同等算力下继续加深模型,往往仍可能比”深循环+修正”更划算,需按具体预算权衡。
| 维度 | 整网循环 | 中间层成组循环 |
|---|---|---|
| 循环单元 | 整个 Transformer 块 | 仅中央一段层 |
| 深度增长方式 | 均匀覆盖全部层 | 集中在中央,两端单遍 |
| 固定参数+数据下 BPB | 通常更低,大模型/多数据优势更明显 | 相对略高,但循环次数可控 |
| 固定训练 FLOPs 下 | 高算力区间更合适 | 低算力区间更划算 |
| 循环次数上限 | 小模型可到较多次但易饱和;大模型有效范围更小 | 通常次数更少,稳定性更好 |
| 稳定性风险 | 次数增加易饱和/退化,注意力或 MLP 单独循环尤甚 | 区间可控,但边界与比例需调参 |
| 实现复杂度 | 低,结构直接,便于快速验证 | 中,需确定循环区间与两端比例 |
| 额外激活开销 | 每 token 多算整网一遍,激活占用大 | 只多算中央段,激活占用相对小 |
| 可补充手段 | 低秩修正可改善深层循环 | 同样可用低秩修正,叠加收益需评估 |
循环策略没有绝对优劣,建议按约束优先级决策:若你的瓶颈是参数与数据,优先整网循环并尽量放大模型与数据规模;若瓶颈是训练算力,优先中间层成组循环并控制循环次数;若你在意训练稳定性与调试成本,减少循环次数、限定循环区间,并保留低秩修正作为可选项。无论选哪种,都应先用小预算拟合无循环缩放曲线,再用”达到同一 BPB 所需的 FLOPs”这一口径做横向比较,避免被”循环次数”这一表象指标误导。
整网循环与中间层成组循环都用”权重复用”来加深有效深度、控制参数量,区别在于循环单元与深度分布不同,进而在不同约束下表现分化:固定参数与数据时整网循环通常质量更低,固定训练 FLOPs 时中间层成组循环在低算力区间更划算;循环次数存在随规模递减的上限,且不能把小模型的结论外推到大模型。决策时应先明确自己的硬约束是参数、数据还是算力,再用”达到同一 BPB 所需的 FLOPs”做公平比较,循环只是手段之一,是否值得始终取决于具体预算与质量目标的组合。