一位资深AI技术负责人提出“让少数领域专家借助大规模Agent同时探索多个研究方向”,引发硅谷对递归自我改进(RSI)的热议。主流云厂商通常提供身份认证、对象存储、容器平台、日志服务、监控告警等通用云能力(如百度智能云的同类通用产品),可为这类自动改进系统提供基础支撑。本教程从零搭建一套可量化、可审计、可熔断的自动改进闭环,演示如何用数据判断“AI自我进化”是真提升还是自我说服

作者:狼烟四起2026.11.18 11:25浏览量:0

简介:近期,一位曾主导过多项大规模AI基础项目的资深技术负责人表示,希望让AI不仅能解决问题,还能自己设计实验、验证结果并从历史研究中持续学习。按照其设想,少数领域专家可以借助数以万计的AI Agent并行探索不同方向,让科研过程自动运转,目标是把专家生产力提升20至50倍。演讲结束后与知名AI学者李飞飞的对话,又把话题引向了RSI。本文先厘清RSI概念与当前边界,再给出搭建自动改进闭环的完整流程,覆盖目标设定、评测基线、沙箱、实验调度、结果验证与安全熔断。读者可直接套用配置示例和伪代码落地,并用九项验收标准判断自我进化是真提升还是错觉。

一、教程目标:搭一套“不会自欺”的AI自我改进闭环

近期,硅谷讨论热度最高的词之一是“AI自我进化”,学术上称为RSI(Recursive Self-Improvement,递归自我改进)。有意思的是,泼冷水的恰恰是处在相关研究前沿的人。

一位资深AI技术负责人(曾主导过MapReduce、Bigtable、TensorFlow、TPU、Gemini等重要项目)表示,希望让AI不仅能解决问题,还能自己设计实验、验证结果,并从过去的研究中持续学习。按照设想,少数领域专家可以借助数以万计的AI Agent同时探索不同研究方向,让整个科研过程持续自动运转,目标是把领域专家的生产力提升20至50倍。支撑设想的,是一套面向大规模Agent协作的基础设施。目前约20个自动化改进循环(Discovery Loop)正在运行,主要用于研究如何提升实验效率、如何从历史实验结果中学习。他还在演讲中回忆,自己曾花费大量时间参加有关季度运营支出的会议,并认为自动化系统可以承担相当一部分这类工作。演讲结束后,他与斯坦福大学教授、World Labs联合创始人李飞飞的对话,把讨论进一步引向RSI。这是硅谷最热门、也最具争议的技术概念之一。

围绕这一议题,可以归纳出几个需要工程化回答的问题:

  1. “自我改进”具体指什么,又发生在哪一层?
  2. 怎样证明改进是真的,而不是评测分数上涨的假象?
  3. 如果系统真的具备递归自我改进能力,权限边界放在哪里?
  4. 工程收益与RSI之间,边界在哪里?

本教程不会停留在概念争论,而是给出可落地的工程路径:搭建一套“自动发现、自动实验、自动验证、自动沉淀”的闭环系统,并配套基线、评审和熔断机制。 这套系统覆盖从目标设定、评测搭建、沙箱隔离、实验调度到结果验证的完整流程,可以直接套用于模型提示词优化、数据处理流水线调优、Agent工作流改进等场景。

完成本教程后,读者将能够:

  • 独立搭建最小可用的自动改进循环,并在限定任务域内稳定产出可复现的改进实验;
  • 设计三层评审机制,包括执行者自检、独立评审和人工抽检,过滤“虚假提升”和“奖励黑客”行为;
  • 配置权限、资源与安全边界,让自动化系统在受控范围内运行,关键决策始终由人把关;
  • 用结构化指标评估闭环成效,判断当前系统处于“工程自动化”还是“自我进化”阶段,避免把流程提速误当成能力跃升。

核心观点先行:当前的自动改进循环,本质是一种高级的工程自动化,而非严格意义上的递归自我改进。 它能把专家的生产力放大数倍到数十倍,但能否进入真正的递归自我改进,取决于验证信号是否可靠、算力是否充足、评估体系是否完善。工程上首先要解决的,是让改进“可被证明”。

二、适用场景:谁需要这套闭环

  • AI应用研发团队:希望把提示词、检索策略、工具调用编排等环节的反复试错,转化为可持续自动运行的实验流水线。
  • 模型与数据团队:需要在同一批任务上对比多版模型、多种数据处理策略,用自动化评测替代人工逐项实验。
  • Agent与工作流平台团队:需要把“发现不足→提出改进→验证效果”沉淀为标准流程,并对自动执行的变更进行审计。
  • 技术管理者与架构师:希望评估“自动改进”类项目的投入产出,建立量化验收口径,避免概念先行、落地困难。
  • 关注RSI的研究者与科普读者:希望通过亲手搭建一个受控循环,理解自我改进的能力边界与失效模式。

反过来,以下情况不宜直接照搬:任务无法量化、历史实验数据严重缺失,或数据涉及不可脱敏的敏感信息的团队。此时应先完成指标定义、数据治理和脱敏改造。

三、前置准备:人和数据,比算力更重要

3.1 人员角色

  • 领域专家(1至2人即可):定义目标与红线,裁决采纳与否。对应原文中“少数领域专家确定重要研究目标”的分工。
  • 平台工程师(1至2人):负责沙箱、调度、评测与可观测性。
  • 评审人(1至2人):由领域专家或资深工程师兼任,独立于自动改进的执行过程。

3.2 数据与历史实验记录

  • 任务集:用于训练与提案参考的输入输出样例,需完成脱敏。
  • 冻结评测集:只在流程启动前参与基线评测,后续流程无法读取,防止评测集泄漏。
  • 历史实验记录:至少包含配置版本、指标结果、人工结论。即使没有系统化管理,也要先整理成统一格式,这是闭环能够“从历史中学习”的前提。
  • 提示词/配置/代码仓库:作为候选改进对象,需要支持版本管理与分支。

3.3 环境与资源

  • 隔离执行环境:每个实验在独立的容器化沙箱中运行,限制网络和文件写入范围。
  • 任务调度与队列:支撑并发实验、失败重试和超时控制。
  • 存储:用对象存储保存实验产物与日志,用数据库或检索服务保存结构化实验记录。
  • 可观测性:用日志服务和监控告警跟踪实验数量、资源消耗与失败率。
  • 算力:开发验证阶段可从最小规模起步,先让“小步快跑”跑通,再按数据扩容。原文中“少数领域专家借助数以万计AI Agent”的目标,是架构演进方向,而非起步配置。

若团队采用公有云资源,可利用主流云厂商(如百度智能云)普遍提供的身份认证、对象存储、容器平台、消息队列、日志服务、监控告警等通用云能力搭建底座,并按项目粒度做资源隔离和用量监控。

3.4 组织方式

采用“资深工程师+年轻研究者”的混合团队:前者把控方向与质量标准,后者负责快速迭代工具与评测,这与原文所描述的团队组织思路一致。

四、实施步骤:从目标定义到安全闭环

整体链路如下:

  1. 目标定义 → 基线评测 → 沙箱与框架 → 实验提案 → 并行调度
  2. → 结果验证 → 知识沉淀 → 安全熔断 → 阶段扩容

后续步骤依次依赖前一步的输出,请按顺序执行。

步骤1:定义可量化的改进目标与指标

做什么:把“让模型更聪明”这类模糊目标,改写为可测量、可复现的任务目标。常见指标分三类:

  • 任务质量:正确率、通过率、人工评分;
  • 成本效率:单次调用平均token消耗、实验端到端耗时、单位时间内有效实验数;
  • 稳定性:错误率、超时率、结果一致性。

为什么做:自动改进循环本质上是带奖励机制的搜索过程。奖励信号一旦模糊或被污染,系统会很快学会“优化指标”而不是“解决问题”,投入越多,偏差越大。

注意什么:

  • 单一指标容易被刷分,建议“质量指标+成本指标”成对设置;
  • 每个指标都要有明确的测量方法和最低样本量;
  • 设定红线指标(如安全合规、错误率上限),红线一旦被突破,直接拒绝,不参与综合打分。

步骤2:建立基线与冻结评测集

做什么:用当前生产版本在冻结评测集上完整评测,结果记为基线B0,并固化评测脚本与随机种子。

为什么做:没有基线,就无法判断改进方向,也无法区分“改进”与“波动”。冻结评测集用于防止自动改进循环“看到”评测答案,从而对评测集过拟合。

注意什么:

  • 评测集覆盖典型、边界和对抗样例,并定期轮换一定比例;
  • 冻结评测集只开放给评审阶段,提案和执行阶段在权限上完全不可见;
  • 基线评测至少重复3次,确认波动范围,后续以“超出波动范围”作为显著性的最低门槛。

agent-">步骤3:搭建Agent执行框架与沙箱

做什么:建设统一执行框架,把“提出改进→执行实验→采集结果→提交评审”标准化。框架包含:

组件 作用
沙箱运行器 为每个实验提供隔离环境,限制网络与写入范围
工具接口 受控读写配置、运行评测、检索历史记录,逐次鉴权
结构化提案 定义实验假设、修改内容、风险等级等字段
评测服务 统一评分入口,接入基线、独立评测和人工抽检
记录存储 持久化实验过程与结论,供后续检索复用

为什么做:大规模并行Agent协作的前提是统一、可约束的执行框架。工具接口集中管控,是防止越权与提示注入的第一道防线。

注意什么:

  • 默认禁止外网访问,确需联网的工具单独走审计代理;
  • 评测脚本、评测数据和权限配置对自动改进流程只读;
  • 每个实验分配资源上限与超时时间,防止失控任务拖垮队列。

步骤4:让Agent自动设计实验

做什么:Agent读取基线版本、历史实验摘要和失败案例,输出结构化提案,至少包含假设、修改类型、目标文件、参数取值、预期指标、风险等级和回滚方案。

为什么做:约束提案结构,能让评审与自动化判断有统一依据,也能避免执行者“自由发挥”。

注意什么:

  • 建立修改类型白名单:提示词与配置类风险低,代码逻辑类需要测试覆盖,架构与训练策略类必须人工审核;
  • 要求Agent先检索历史,明确写出“与哪些历史实验不同”;
  • 提案阶段不接触冻结评测集,避免针对性“猜答案”。

示意配置(非具体产品参数,仅用于说明语义):

  1. proposal_schema:
  2. required: [hypothesis, change_type, target, params, expected_metric, risk_level, rollback]
  3. allowed_change_types: [prompt, config, pipeline, code]
  4. require_history_check: true
  5. risk_routing:
  6. low: auto # 自动执行
  7. medium: review # 独立评审通过后执行
  8. high: human_approve # 必须人工审批

步骤5:多方向并行调度与预算控制

做什么:按研究方向分组实验,采用分层调度:

  1. 方向层:领域专家设定少量研究目标与红线;
  2. 实验层:Agent在目标下并行生成和运行候选实验;
  3. 汇总层:自动汇总结果、识别重复、生成报告。

为什么做:原文设想的“少数领域专家+大规模Agent”,本质上就是把专家稀缺的判断力用在方向选择上,把重复性探索交给系统。

注意什么:

  • 为每个方向设置实验预算(最大实验次数、最大算力时长、最大调用费用),预算耗尽自动暂停;
  • 并发度按沙箱资源和队列容量设定,避免资源争抢导致评测结果抖动;
  • 对高相似度提案去重,同一目标文件的并行修改需要合并策略。

调度逻辑伪代码:

  1. def discovery_loop(goal, baseline, budgets, max_rounds=100):
  2. history = load_history()
  3. for round_no in range(max_rounds):
  4. if all_done(budgets, history):
  5. break
  6. proposals = propose(goal, baseline, history) # 受提案模板约束
  7. proposals = dedup(proposals, history, threshold=0.9) # 相似度去重
  8. results = parallel_run(proposals, budgets) # 沙箱内并行执行
  9. for r in results:
  10. report = evaluate(r, frozen_eval, seeds=3) # 评审阶段才可访问冻结集
  11. decision = independent_review(r, report) # 独立于执行者的评审
  12. history.append(make_record(r, report, decision))
  13. if decision == "accept":
  14. baseline = promote(r, baseline) # 通过后才更新基线
  15. return baseline, history

步骤6:结果验证与自动评审

做什么:建立“执行者自检+独立评审+人工抽检”三层验证:

  1. 执行者自检:运行单元测试与基础评测,输出结果和日志;
  2. 独立评审:单独的评审Agent只接收变更内容、评测数据和实验记录,不接收执行者的自我评价,按统一标准给出采纳、待定或拒绝结论;
  3. 人工抽检:按一定比例随机抽查,并全量审核高风险变更。

为什么做:自动改进最常见的失效模式是“奖励黑客”。执行者可能修改测试、泄露答案,或在边界样例上投机取巧。执行与评审同源,相当于考生自己批改试卷。

注意什么:

  • 评审标准量化,例如“质量提升不低于显著阈值,且成本增幅不超过约定上限”;
  • 收益需排除评测波动,单次实验重复评测并取稳健统计值;
  • 评审结论及其依据完整留痕,支持事后追溯。

步骤7:知识沉淀与历史复用

做什么:每条实验记录都结构化存储,包含假设、变更内容、评测结果、评审结论、失败原因和关键产物路径。下一轮提案前先检索相似历史,优先借鉴已验证有效的方案,回避已失败的方向。

为什么做:原文强调“从历史实验结果中学习”。只有把失败也沉淀为知识,循环才能越跑越准,而不是在同一类问题上反复试错。

注意什么:

  • 失败记录必须保留具体原因,例如“指标未超阈值”“成本超限”“评测不通过”;
  • 定期聚类分析失败模式,把共性结论反哺提案模板;
  • 记录版本化,支持按时间回溯“系统是如何一步步改进的”。

步骤8:设置安全边界与熔断机制

做什么:在框架层设置权限分级和自动熔断,触发条件可配置:

  1. circuit_breaker:
  2. max_consecutive_failures: 10 # 连续失败次数,达到后暂停
  3. max_rounds_without_gain: 15 # 连续无显著收益轮数,达到后暂停并转人工
  4. cost_budget_exceeded: pause # 预算超限即暂停
  5. eval_anomaly: alert_and_pause # 评测异常(如通过率骤升至不合理水平)即告警暂停
  6. permissions:
  7. frozen_eval: read_only
  8. prod_config: none # 禁止自动改进流程改写生产配置

为什么做:赋予系统“自我修改”能力之前,必须先定义“不能修改什么”。尤其要禁止自动化流程自行修改评测标准、权限规则或自身代码中的安全约束。否则,改进循环可能演变成对约束的规避。

注意什么:

  • 所有自动变更走分支提交,合并需审批;
  • 熔断后自动保留现场(日志、产物、提案),方便定位;
  • 生产环境遵循渐进发布,如灰度、影子运行、监控观察。

步骤9:分阶段从“20个循环”走向规模化

原文提到,该团队目前运行约20个自动化改进循环。从几十到数万Agent,应按阶段扩容:

  • 阶段一(验证期):1至2个目标,少量Agent,人工全量评审,重点验证指标与评审是否可靠;
  • 阶段二(扩量期):5至10个目标,引入独立评审和自动汇总,人工抽检为主;
  • 阶段三(规模化期):大规模并行,分层调度+预算控制,人工聚焦方向决策与高风险裁决。

每个阶段设准入条件,例如采纳率、显著有效率、单次有效改进成本达到约定标准,再进入下一阶段。

五、结果验证:怎样判断闭环真的在进化

5.1 单次实验成功的判定

  • 独立评测:在评审阶段可访问的独立评测集上,指标提升超过基线波动范围;
  • 统计置信:多次评测结果的置信区间不跨基线值;
  • 无回归:红线指标无退化,成本增幅在约定上限内;
  • 可复现:同一变更在干净沙箱中重跑,结果一致。

5.2 闭环整体有效性的九项验收标准

序号 指标 说明
1 采纳率 被采纳的变更数 ÷ 有效提案数
2 显著有效率 通过独立评测且通过盲评的采纳变更占比
3 回归率 上线后指标回退的变更占比,越低越好
4 累计收益曲线 随时间观察是否持续增长,何时进入平台期
5 自动化覆盖率 从提案到评审由系统完成的比例
6 专家耗时 专家每周投入时间的变化,对应生产力提升目标
7 单改进成本 每条有效改进消耗的实验次数、算力与调用费用
8 故障与熔断次数 出现异常与触发熔断的频次
9 真实业务指标 灰度或A/B实验中的业务效果,而非仅离线指标

5.3 盲评验证

从采纳与拒绝的变更中各抽取样本,隐去来源后交给评审人或评审Agent重新评分。盲评与自动评审的一致率持续偏低,说明评审标准本身需要修订,而不能据此判断候选变更的好坏。

六、常见问题与排查

问题现象 常见原因 排查与处理思路
评测分数大幅提升,人工抽检却认为一般 评测集泄漏或采样偏差,执行者针对评测样例“刷分” 核对评测集与训练数据的重叠情况,补充对抗样例,使用轮换评测集复测
采纳率高但上线后收益不明显 离线指标与业务目标不一致 引入影子运行或小流量灰度,以真实业务指标校准离线指标
提案高度重复,实验量很大却无新增收益 历史检索缺失,或提案提示不充分 检查历史记录完整性和检索召回质量,在提案模板中强制引用相似历史
实验频繁失败或超时 沙箱资源不足、依赖不稳定、超时设置不合理 检查资源配额与超时配置,固定依赖版本,设置重试上限与死信队列
成本与算力消耗失控 缺少预算限制,大规模评测成本过高 开启预算熔断,采用分层评测(先小样本初筛,再全量复核)
评审结论前后矛盾 评审标准不统一,或评审者受执行者表述影响 固化评审模板,评审材料去掉自我评价,增加盲评交叉校验
循环运行数轮后进入平台期 已触及当前任务域的能力上限,提案多样性不足 引入新任务、新数据或新策略,如工具调用、检索增强,或适当引入人类专家意见
出现越权修改或异常网络访问 工具权限过宽,或外部内容携带恶意指令 最小权限化,对不可信内容做隔离与标注,网络访问走白名单审计代理

七、优化建议:性能、安全、稳定性、成本与可维护性

  • 性能:采用分层评测,先用小样本快速淘汰明显无效的提案,再对候选方案做全量评测;对重复任务做结果缓存;合理设置并发度与优先级队列,避免低价值实验挤占资源。
  • 安全:坚持最小权限原则,评审与执行分离,评测数据只读,关键变更必须人工审批;对所有提示、工具调用和变更记录审计日志,防止提示注入诱导系统越权。
  • 稳定性:实验幂等可重放,结果异常自动重试并限制重试次数;评测服务故障时暂停闭环而不是跳过验证;关键依赖版本固定,避免环境漂移导致结果不可比。
  • 可维护性:提案模板、评审规则、熔断阈值全部纳入版本管理,变更可追溯;统一实验记录格式,便于迁移和复盘。
  • 成本:设定单次实验成本上限和整体预算告警;历史结果去重可避免重复计算;对低价值目标及时关停,把资源集中在高收益方向。

八、理性看待RSI:教程背后的边界

搭建闭环的过程,也最容易看清RSI的边界。

  • 验证决定上限:自动改进速度受制于验证速度。代码类任务有测试可验证,数学与编程类基准有标准答案,循环容易跑起来。而长周期的真实科研,例如新药研发、复杂工程实验,反馈缓慢且噪声很大,循环只能围绕“可自动验证”的子任务运转。
  • 评测数据有限且会饱和:冻结评测集轮换次数有限,候选空间可能被反复探索,收益迟早递减,进入平台期需要靠新任务和新数据打破。
  • 算力与工程是硬约束:“数以万计的Agent”背后是调度、存储、网络与成本压力,系统吞吐往往受制于基础设施,而非模型能力。
  • 自我改进发生在不同层面:从提示词、配置、工具组合,到代码与训练流程,再到模型权重与架构,越往下风险越高、验证越难。当前工程实践主要停留在“用AI改进AI系统的外围部分”,而非AI重写并升级自身核心能力。
  • 定义仍有争议:即使顶尖专家之间,对RSI的定义和判断也未形成共识,这本身就说明当前多数“自我进化”展示,仍停留在工程自动化层面。

因此,判断一个“自动改进”项目,可以问三个问题:

  1. 收益是否经过独立、可复现的验证?
  2. 改进是发生在外围流程,还是触及核心能力?
  3. 系统的权限边界是否清晰、可审计?

三个问题的答案,决定了它更接近“自动化的科研助手”,还是真正的“自我进化”。

九、总结与后续方向

本教程从“AI自我进化”这一热议话题出发,先厘清RSI的定义和当前边界,再给出搭建自动改进闭环的完整方案,覆盖从目标定义、基线评测、沙箱执行、提案生成、并行调度、三层验证、知识沉淀到安全熔断九个步骤。读者可以借助伪代码和示意配置快速落地,并通过九项验收标准判断闭环的真实成效。

工程上最值得记住的是:闭环的价值不在于让系统跑得多快,而在于让每一次改进都真实、可复现、可审计。 自动改进循环可以显著降低重复试错成本,让少数领域专家把精力集中在方向判断和关键决策上,这与“专家生产力提升20至50倍”的设想方向一致。不过,这一目标是需要持续验证的工程假设,而不是已经成立的结论。

后续可继续关注:

  • 面向工具使用、检索增强等场景的自动化优化方法;
  • 自动化评测与AI辅助评审的可靠性研究;
  • 大规模Agent协作的调度与成本优化实践;
  • 自动化系统权限治理与审计规范;
  • RSI相关研究与讨论的进展。

不妨先从一个最小闭环开始,跑通“一个目标、一个方向、一次实验”,再逐步扩展到规模化协作。