循环决策模型的按需深度评测：从固定计算到逐题自适应

一、评测概述：为什么值得评测“循环加深”这类方案

在路由、分类、候选排序、工具选择这类任务中，模型要做的往往不是“写出一段推理”，而是从给定选项中挑出最合适的一个。这类任务的答案空间封闭、输出形式极短，因此传统的“先生成思维链、再给答案”的加深方式存在明显浪费：大量 token 花在把已知信息复述一遍，而真正影响决策的计算并未显著增加。

由此引出一种不同的加深思路：不改动权重，让同一组网络层反复运行若干“圈”，每一圈都读出一个答案分布，再由一个轻量停止器决定是否继续。本文要评测的就是这类“循环决策 + 按需停止”的技术方案——以下简称“循环决策模型”或“按需深度方案”。

本文适合以下读者：正在做模型选型的技术负责人、需要为在线决策链路做延迟预算的架构师、关注推理成本与准确率平衡的算法工程师，以及希望建立内部评测规范的运维与平台团队。读者读完应能回答：这类方案该从哪些维度验证、如何设计对照实验、什么样的结果才算真正有效、以及哪些场景并不适合它。

需要强调，评测的目标不是给出“好或不好”的单一结论，而是判断该方案在特定业务约束（延迟上限、算力预算、准确率要求、可解释性要求）下是否成立。

二、评测对象说明：它到底改变了什么

传统决策模型的深度在训练阶段就固定：一次前向、一次读出、一次输出，对所有问题消耗相同的计算量。这种设计的好处是延迟稳定、工程简单；代价是“难题”和“简单题”被同等对待，额外算力无法只花在真正需要的地方。

循环决策模型的改动集中在三点：

1. 计算复用：同一组网络层被反复调用，形成“圈”的概念，圈数即有效深度；
2. 逐圈读出：每一圈都产生一次答案分布，因此可以在任意圈提前给出结果；
3. 停止决策：由一个轻量停止器根据当前状态判断“继续算”还是“现在停”，实现按题分配计算量。

由此形成两个可评测的核心能力：深度收益（多算几圈是否更准）与按需分配（停止器是否能只把计算花在难题上）。这两点构成了后文评测维度的主线。

三、评测维度设计

针对这类方案，建议建立如下评测框架。每个维度都应给出可观察指标，而不是笼统的“效果不错”。

维度	关注问题	可观察指标	解读要点
准确性	多圈是否真的更准	各圈准确率曲线、逐题对错变化	关注曲线是否单调、是否在低圈数饱和
深度收益分布	收益来自哪类题	按难度分层的准确率增量	收益应集中在难题，而非均匀分布
停止器有效性	是否只在该停时停	提前停止比例、误停导致的准确率损失	关键是“少算”与“掉点”的权衡
延迟与成本	计算节省是否转化为实际收益	平均圈数、圈数分布、端到端耗时	圈数节省需扣除停止器自身开销
稳定性	结果是否可复现	多次运行一致性、异常输入表现	循环结构可能放大数值不稳定
可观测性	过程是否可追踪	逐圈读数、停止原因记录	影响线上排障与阈值调优
兼容与改造成本	接入现有链路的代价	接口适配、训练改动、部署形态	循环层是否影响批处理效率
安全与合规	输出是否可控	越权选项、异常候选处理	选项型任务的边界校验

准确性维度是基础。评测时不应只看最终圈数的准确率，而应画出“圈数—准确率”曲线，并逐题比对相邻圈数的答案变化。原始材料中的示例很有代表性：某题第 1 圈即选中正确项并可停止，另一题第 1 圈选错、到第 4 圈才改正。这说明逐题轨迹比聚合准确率更能揭示机制。

深度收益分布决定方案价值。如果多圈带来的提升均匀分布在所有题上，那只是“整体变强”，而非“按需加深”；只有当增量集中在少数难题上，按需停止才有意义。可参考的观察方式是：对比不同规模基线模型的逐题结果，统计“大模型多答对的题”是否集中在特定难度区间，以及“把最没把握的一部分交给更大模型”能否逼近全量效果——这正是判断“额外计算是否只对少数题有用”的通用方法。

停止器有效性是这类方案的核心创新点，也是最容易被误评的部分。只看“节省了多少计算”没有意义，必须同时看“节省带来的准确率损失”。合理的评测口径是：在固定准确率容差（例如不超过 1 个点）下，统计可节省的循环计算比例；或在固定计算预算下，比较按需停止与统一圈数的准确率。

延迟与成本需要注意“圈数”不等于“耗时”。循环结构会带来额外的前向次数、状态缓存与停止器判断开销，实际端到端延迟需实测。原始材料提到，级联式方案中题目被转交后需要从头重读，而小模型中位延迟已不低，级联到大模型反而更慢——这提示评测必须把“转交/重算”的成本计入，而不能只比较单次前向。

稳定性与可观测性常被忽略。循环意味着同一组权重被多次调用，数值误差可能累积，停止器的判定阈值也可能对输入长度、候选数量敏感。评测时应记录逐圈读数、停止圈数与停止原因，并在异常输入（空候选、超长候选、重复选项）下观察行为。

四、评测环境与前提

为保证结论可复现，测试前需固定以下条件：

• 模型与权重：固定同一检查点，明确是否为同一份权重在不同圈数下运行；
• 数据与样本：使用公开评测集并记录题目数量、难度分层标准、选项构造方式；
• 调用方式：统一批大小、序列长度上限、是否启用缓存；
• 硬件与并发：固定资源配置，区分单请求延迟与并发吞吐；
• 基线设置：至少包含“统一 1 圈”“统一 N 圈”“按需停止”三组对照，若有级联或生成式推理方案可作为外部参照；
• 测量口径：明确延迟是端到端还是仅模型前向，成本按圈数、按 FLOPs 还是按实际耗时统计。

其中“控制变量”尤为关键：比较多圈效果时，不能同时改变批大小或精度设置；比较按需停止与统一圈数时，应保证两者的最大圈数上限一致，否则节省比例不可比。

五、评测方法：从流程到记录

建议按以下流程执行，每一步都留下可复核的记录。

第一步：建立基线。 在统一 1 圈条件下记录整体准确率与逐题结果，作为后续所有增量的参照。同时记录统一 2 圈、3 圈、4 圈的曲线，观察是否存在饱和点。

第二步：逐题轨迹分析。 对每题记录各圈答案与置信度，统计三类样本：第 1 圈即正确（可提前停止）、中途改正（受益于多圈）、中途改错（多圈反而有害）。第三类样本是风险信号，需重点分析其触发条件。

第三步：分层评估。 按难度、候选数量、输入长度分层统计准确率增量，验证收益是否集中在预期区间。若增量在简单题上同样显著，说明任务本身对深度敏感，按需停止的收益会被稀释。

第四步：停止器验证。 设定准确率容差，扫描停止阈值，绘制“节省计算比例—准确率损失”曲线。理想形态是曲线在低损失区有较长平台，即在损失很小的前提下节省可观计算。若曲线陡峭，说明停止判定过于激进或阈值不稳定。

第五步：端到端延迟与吞吐测试。 分别在单请求与并发条件下测量平均圈数、P50/P95 耗时、停止器开销占比。注意区分“圈数节省”与“耗时节省”，两者可能不一致。

第六步：稳定性与异常测试。 重复运行观察结果一致性；构造空候选、单候选、超长候选、重复选项等异常输入，验证边界处理与失败模式；观察长序列下逐圈读数是否出现异常波动。

第七步：可观测性与日志审查。 确认系统是否记录逐圈答案、停止圈数与停止原因，是否支持离线回放。可回放性是这类方案调优的前提——没有逐圈记录，阈值调整只能靠整体指标盲调。

示意性伪代码如下，仅表达评测流程，不含任何具体工具或接口：

for each sample in dataset:
    record = baseline_run(sample, loops=1)
    for n in [1, 2, 3, 4]:
        out = run_with_loops(sample, loops=n)
        record.per_loop[n] = out.answer
    adaptive = run_with_stopper(sample, max_loops=4, threshold=t)
    record.stopped_at = adaptive.loops_used
    record.answer = adaptive.answer
    record.trace = adaptive.per_loop_answers
    log(record)
metrics = aggregate(records)
report(accuracy_by_loop, gain_by_difficulty,
       savings_vs_loss_curve, latency_by_loops)

六、结果解读：什么结果才算站得住

看曲线形状而非单点。 若准确率随圈数单调上升并在某圈后趋于平缓，说明深度收益存在上限，按需停止应把上限设在饱和点附近。若曲线出现回落，说明多圈引入了噪声或过度修正，需要检查停止时机。

看增量的分布。 收益集中在难题、且在简单题上几乎无损失，才符合“按需加深”的设计意图。原始材料中“同一检查点从 1 圈到 4 圈显著提升”这类结论，应与分层数据结合看：提升是否主要来自少数需要多圈修正的题目。

看节省的真实性。 “少算一定比例的循环计算、准确率损失不到 1 个点”是一个合理的评测口径，但需要确认节省的是循环次数而非仅是名义圈数，且已扣除停止器开销。若停器本身需要一次额外读出，节省比例应做相应折算。

看延迟归因。 若圈数下降但耗时未降，可能原因包括批处理未适配变长循环、停止器判断成为串行瓶颈、状态缓存带来额外内存访问。这类差异必须解释清楚，否则“省算力”无法转化为“省成本”。

七、适用场景与不适用场景

较适合的场景：选项数量有限、答案可枚举的路由与分类；工具选择、候选排序、风控打标等在线决策；延迟预算较紧但允许少量变长的链路；希望对难题自动加算力、对简单题快速返回的系统。

需谨慎的场景：对延迟稳定性要求极高（P99 敏感）的同步接口，因为按需停止会带来长度可变；对可解释性要求强、需要展示推理过程的场景，因为隐藏状态循环不产生可读推理文本；候选数量极大或输出为开放文本的任务，逐圈读出的收益需要重新验证。

不太适合的场景：答案本身需要长文本生成的创作类任务；对数值可复现性要求极严、不允许任何随机性波动的场景；部署环境无法支持多次前向或状态缓存的极轻量端侧。

八、风险与限制

评测这类方案时需明确以下边界：样本偏差（公开评测集的难度分布未必匹配业务流量）、环境差异（批大小与硬件会显著影响延迟结论）、停止器过拟合（阈值在评测集上调优后可能迁移性下降）、长期运行不确定性（循环结构的数值稳定性需在长周期观察）、以及“圈数”与“有效计算”不完全等价的问题。任何结论都应附带适用条件，例如“在该检查点、该最大圈数、该准确率容差下成立”。

九、选型与使用建议

1. 先验证深度收益是否存在：在统一圈数下画曲线，确认饱和点，再谈按需停止；
2. 再验证停止器是否可信：以“节省比例—损失曲线”为准，不以单一节省数字为准；
3. 把延迟纳入同一张表：圈数、耗时、吞吐、内存一起看，避免只优化名义计算量；
4. 保留逐圈可观测性：上线前确保能回放逐圈读数与停止原因，否则无法持续调优；
5. 设置保守上限与降级路径：最大圈数应有硬上限，停止器异常时可回退到固定圈数策略；
6. 按场景分层验收：简单题看延迟，难题看准确率，异常输入看容错，三者分开验收。

十、总结

循环决策模型把“想得更深”从“写得更长”解耦为“多跑几圈”，并用轻量停止器实现按题分配计算量。评测这类方案的关键不在于复述某一组提升数字，而在于建立三条判断线：深度收益是否真实且集中在难题、停止器能否在可控损失下节省计算、以及节省能否转化为端到端延迟与成本优势。围绕准确性、深度收益分布、停止器有效性、延迟成本、稳定性与可观测性设计对照实验，并明确样本、环境与阈值边界，才能得出可用于选型的结论。对于选项型在线决策场景，这是一条值得纳入评测清单的技术路线；对于延迟极稳或强可解释要求的场景，则需谨慎评估其代价。