简介:循环Transformer靠共享参数反复推理来增加"思考深度",但多数实现只取最后一轮输出,前几轮的中间预测被直接丢弃。本教程介绍如何利用这些"免费"的中间输出实现循环对比解码(LoopCD):在几乎不增加训练成本的前提下,让模型用后续轮次的成熟判断去抑制早期轮次的错误倾向,从而自纠偏、提准确率。内容覆盖原理拆解、逐轮logits捕获、对比分支选取、强度约束与退化保护、自适应轮次与早停、代码示例、结果验证、常见排查与成本优化,适合算法开发者与推理工程师上手实践。
本教程要教你完成一件具体的事:在循环Transformer的推理阶段,把每一轮的中间预测结果用起来,实现”自我纠正”式的解码,并让这项改造的额外成本尽量接近于零。
具体来说,读完并实践完本文后,你应当能够:
适用读者:
适用场景:
不太适用的场景: 参数量可以随意堆叠、且线上延迟预算极紧的场景。此时更直接的收益来自换更大的模型或做量化/编译优化,而不是解码策略。
score = logit_strong + α · (logit_strong - logit_weak)
再对 score 做归一化与采样。它的价值在于抑制弱模型系统性犯的那类错误(比如高频搭配、表面相关性),而不是简单提高温度或调top-p。
原文引用的一项公开测量很有代表性:某个循环架构模型在一项常识推理基准上,循环32轮的准确率约37.5%,而只看循环1轮的”半成品”只有约22.8%——接近15个百分点的落差。这个数字本身不是重点,它说明的是一件事:这些轮次之间不是原地打转,而是一条清晰的进步路径。
请先在你自己的模型和任务上复现这条曲线(准确率 vs 循环轮次)。如果曲线基本平坦,那么本文后面所有方法都不会有收益,此时应先检查循环实现是否正确(权重共享、位置/轮次编码、归一化是否每轮重置)。
关键事实是:模型每跑完一轮,输出的都是一个覆盖全词表的概率分布,而不是”半成品向量”。 它能直接拿去预测下一个词,只是精度差一些。过去没人看它,纯粹是因为工程习惯:流程被写成”跑满N轮,取第N轮结果”,中间结果用完即弃。
这在写作上很容易类比:你写了四稿,老师只收第四稿。但第一稿到第四稿同样是完整的句子,只是没写好。把四稿并排放在一起,你不仅知道成品,还能看出”进步的方向”。
对比解码通常需要一个弱模型(原始论文里常用一个更小/未对齐的模型充当 amateur)。而循环架构给了我们一个便利:
靠前轮次的输出,天然就是一个”和自己同源、只是更不成熟”的弱分支。
这比外挂一个外部小模型有三个好处:不需要额外加载一份权重;分布同源自适应(换任务不用重新找弱模型);额外开销只有一次词表投影。
记第 i 轮输出的logits为 z_i,最后一轮为 z_N,选定的早期轮次集合为 W(例如 {1, 2} 或 {1..k}):
z_weak = mean(z_i for i in W)z_final = z_N + α · (z_N - z_weak)
直觉:z_N - z_weak 是”这N轮里模型学会了什么”。沿这个方向做外推(α>0),等价于把最新认知放大一部分,同时压低早期轮次偏好的那些token。这就是”让模型自己纠正自己”的实现方式:不需要外部教师,纠正信号来自它自己的历史。
z_weak 本身在关键位置概率极高(比如早期轮次倾向于输出通用套话),差值会把正确答案一起压下去。所以要对 z_final 做强分支top-k截断:只在 z_N 的高置信候选集合里做对比与采样。z_N - z_weak 的均值分量会被抵消,真正起作用的是相对差异。调试时如果发现 α 怎么调都无效,先检查你减去的是不是恒定的logits(比如所有轮次共用同一个输出头且未更新隐状态——那就是循环实现有bug,而不是解码策略无效)。做什么:修改前向传播,在每轮结束后立刻做一次输出投影,把 z_i 存入列表。
为什么:这是整套方法的前提。它不改动任何权重,只增加读取。
注意:不要为了省事在循环内部缓存完整隐状态张量——N轮 × 序列长度 × 隐藏维度,在长上下文下很容易撑爆显存。只保留投影后的logits,并且优先只在”最后一个有效位置”做投影(如果你只需要预测下一个token)。
# 通用示意代码,不依赖任何具体框架/产品def looped_forward_logits(model, input_ids, n_loops, capture_all=True):h = model.embed(input_ids)per_loop = []for i in range(1, n_loops + 1):h = model.shared_block(h, loop_index=i) # 同一组参数,反复执行if capture_all:z = model.lm_head(model.norm(h)) # 每轮都过输出头per_loop.append(z)if not capture_all:per_loop.append(model.lm_head(model.norm(h)))return per_loop
有三种常见选择,按稳妥程度排序:
| 方案 | W 的取法 | 特点 | 适用 |
|---|---|---|---|
| A. 单轮对比 | W = {1} |
最简单,信号强但噪声大 | 快速验证是否有效 |
| B. 早期多轮平均 | W = {1..k},k≈N/4 |
更稳,推荐起点 | 通用 |
| C. 滑动相邻轮 | z_{i-1} vs z_i |
只纠正”最近一步”的偏差 | 轮次多、逐步收敛明显的任务 |
先做A确认方向有效,再用B做正式配置,这是最省时间的路径。
def loop_cd_next_token(model, input_ids, cfg):zs = looped_forward_logits(model, input_ids, cfg.n_loops)z_strong = zs[-1]W = list(range(0, cfg.k_weak))z_weak = torch.stack([zs[i] for i in W]).mean(dim=0)# 1) 强分支 top-k 截断:只在可信候选内做对比,防止弱分支引入噪声topk_vals, topk_idx = z_strong.topk(cfg.top_k, dim=-1)# 2) 对比打分(只对候选子集计算,省显存也算得快)score = z_strong + cfg.alpha * (z_strong - z_weak)score = score.gather(-1, topk_idx)# 3) 温度 + 归一化probs = softmax(score / cfg.temperature, dim=-1)# 4) 退化保护:候选内最大概率超过阈值则视为过尖,回退到强分支if probs.max() > cfg.collapse_threshold:probs = softmax(topk_vals / cfg.temperature, dim=-1)return topk_idx[sample(probs)]
原文强调”进步路径”是免费信号。这个信号除了用于对比,还可以用于决定跑几轮:
prev = Nonestable = 0for i in range(1, cfg.max_loops + 1):p_i = softmax(zs_last / T)if prev is not None:# 变化量小 且 最大概率足够高 → 已收敛if kl(p_i, prev) < cfg.eps and p_i.max() > cfg.conf:stable += 1else:stable = 0if stable >= cfg.patience:break # 提前退出,省掉剩余轮次的计算prev = p_i
这一步能同时拿到两个收益:简单样本少跑几轮(降延迟、降成本),难样本多跑几轮(保准确率)。它也是循环架构里”自适应计算/可微停止”思路的推理期轻量版。
top_k / top_p / temperature 的语义必须与基线完全一致,否则你的A/B对比不成立;参搜索建议按”先粗后细、一次只动一个变量”的顺序:先固定 α=0.5、W={1}、N=8,确认准确率不下降;再扫 α∈{0.2,0.4,0.6,0.8};再扫 N;最后再调早停阈值。
不要只看一个准确率数字,建议至少看四类指标:
必须做的对照实验:基线(末轮输出)、随机轮次(不是最早几轮,而是随机挑一轮当弱分支)、α=0(等价于基线)。如果”随机轮次”和”早期轮次”效果一样甚至更好,说明增益不是来自”早期弱”,而可能来自数值扰动,需要重新审视结论。
| 现象 | 可能原因 | 通用排查思路 |
|---|---|---|
| 效果与基线完全一致 | 减去的是恒定项;或循环体内隐状态未更新 | 打印 z_N - z_weak 的方差,应为非零 |
| 输出重复、退化 | α过大或缺少候选截断 | 降α到0.2~0.4,加top-k截断与重复惩罚 |
| 困惑度变差但答对更多 | 对比解码的预期行为 | 以任务指标+人评为准,别以PPL判死刑 |
| 显存溢出 | 缓存了全部轮次隐状态/全序列logits | 只存末位token的logits;弱分支用均值在线累加 |
| 延迟明显上升 | 每轮都做全词表投影;或轮次拉满 | 只在需要处投影;启用早停与自适应轮次 |
| 长上下文下收益消失 | 循环增益本身随上下文增长饱和 | 检查”准确率-轮次”曲线,判断是否已达饱和 |
| 线上A/B不显著 | 流量差异、缓存、采样参数不一致 | 统一预处理与采样配置,延长观察窗口 |
循环Transformer的真正红利,不只是”同参数多深度”,而是它顺手免费产出了一条从粗糙到精细的进步轨迹。本文的做法把这条轨迹一分为二地用起来:
整条链路不改一个权重、不需要额外模型、不增加存储开销,主要代价是推理期多出几次词表投影——这是一笔在多数离线/半离线场景里都很划算的交易。
后续可以关注的方向有三个:把对比思想从”轮次维度”扩展到”层维度”(共享层内的浅层表示同样可以作为弱分支);把这套推理期策略与训练期的深度监督(让每轮输出都参与损失)结合,看是否能进一步压缩所需轮次;以及在自适应计算框架下,把”何时停”从启发式规则升级为可学习的停止策略。