简介:近期,一位曾主导过多项大规模AI基础项目的资深技术负责人表示,希望让AI不仅能解决问题,还能自己设计实验、验证结果并从历史研究中持续学习。按照其设想,少数领域专家可以借助数以万计的AI Agent并行探索不同方向,让科研过程自动运转,目标是把专家生产力提升20至50倍。演讲结束后与知名AI学者李飞飞的对话,又把话题引向了RSI。本文先厘清RSI概念与当前边界,再给出搭建自动改进闭环的完整流程,覆盖目标设定、评测基线、沙箱、实验调度、结果验证与安全熔断。读者可直接套用配置示例和伪代码落地,并用九项验收标准判断自我进化是真提升还是错觉。
近期,硅谷讨论热度最高的词之一是“AI自我进化”,学术上称为RSI(Recursive Self-Improvement,递归自我改进)。有意思的是,泼冷水的恰恰是处在相关研究前沿的人。
一位资深AI技术负责人(曾主导过MapReduce、Bigtable、TensorFlow、TPU、Gemini等重要项目)表示,希望让AI不仅能解决问题,还能自己设计实验、验证结果,并从过去的研究中持续学习。按照设想,少数领域专家可以借助数以万计的AI Agent同时探索不同研究方向,让整个科研过程持续自动运转,目标是把领域专家的生产力提升20至50倍。支撑设想的,是一套面向大规模Agent协作的基础设施。目前约20个自动化改进循环(Discovery Loop)正在运行,主要用于研究如何提升实验效率、如何从历史实验结果中学习。他还在演讲中回忆,自己曾花费大量时间参加有关季度运营支出的会议,并认为自动化系统可以承担相当一部分这类工作。演讲结束后,他与斯坦福大学教授、World Labs联合创始人李飞飞的对话,把讨论进一步引向RSI。这是硅谷最热门、也最具争议的技术概念之一。
围绕这一议题,可以归纳出几个需要工程化回答的问题:
本教程不会停留在概念争论,而是给出可落地的工程路径:搭建一套“自动发现、自动实验、自动验证、自动沉淀”的闭环系统,并配套基线、评审和熔断机制。 这套系统覆盖从目标设定、评测搭建、沙箱隔离、实验调度到结果验证的完整流程,可以直接套用于模型提示词优化、数据处理流水线调优、Agent工作流改进等场景。
完成本教程后,读者将能够:
核心观点先行:当前的自动改进循环,本质是一种高级的工程自动化,而非严格意义上的递归自我改进。 它能把专家的生产力放大数倍到数十倍,但能否进入真正的递归自我改进,取决于验证信号是否可靠、算力是否充足、评估体系是否完善。工程上首先要解决的,是让改进“可被证明”。
反过来,以下情况不宜直接照搬:任务无法量化、历史实验数据严重缺失,或数据涉及不可脱敏的敏感信息的团队。此时应先完成指标定义、数据治理和脱敏改造。
若团队采用公有云资源,可利用主流云厂商(如百度智能云)普遍提供的身份认证、对象存储、容器平台、消息队列、日志服务、监控告警等通用云能力搭建底座,并按项目粒度做资源隔离和用量监控。
采用“资深工程师+年轻研究者”的混合团队:前者把控方向与质量标准,后者负责快速迭代工具与评测,这与原文所描述的团队组织思路一致。
整体链路如下:
目标定义 → 基线评测 → 沙箱与框架 → 实验提案 → 并行调度→ 结果验证 → 知识沉淀 → 安全熔断 → 阶段扩容
后续步骤依次依赖前一步的输出,请按顺序执行。
做什么:把“让模型更聪明”这类模糊目标,改写为可测量、可复现的任务目标。常见指标分三类:
为什么做:自动改进循环本质上是带奖励机制的搜索过程。奖励信号一旦模糊或被污染,系统会很快学会“优化指标”而不是“解决问题”,投入越多,偏差越大。
注意什么:
做什么:用当前生产版本在冻结评测集上完整评测,结果记为基线B0,并固化评测脚本与随机种子。
为什么做:没有基线,就无法判断改进方向,也无法区分“改进”与“波动”。冻结评测集用于防止自动改进循环“看到”评测答案,从而对评测集过拟合。
注意什么:
做什么:建设统一执行框架,把“提出改进→执行实验→采集结果→提交评审”标准化。框架包含:
| 组件 | 作用 |
|---|---|
| 沙箱运行器 | 为每个实验提供隔离环境,限制网络与写入范围 |
| 工具接口 | 受控读写配置、运行评测、检索历史记录,逐次鉴权 |
| 结构化提案 | 定义实验假设、修改内容、风险等级等字段 |
| 评测服务 | 统一评分入口,接入基线、独立评测和人工抽检 |
| 记录存储 | 持久化实验过程与结论,供后续检索复用 |
为什么做:大规模并行Agent协作的前提是统一、可约束的执行框架。工具接口集中管控,是防止越权与提示注入的第一道防线。
注意什么:
做什么:Agent读取基线版本、历史实验摘要和失败案例,输出结构化提案,至少包含假设、修改类型、目标文件、参数取值、预期指标、风险等级和回滚方案。
为什么做:约束提案结构,能让评审与自动化判断有统一依据,也能避免执行者“自由发挥”。
注意什么:
示意配置(非具体产品参数,仅用于说明语义):
proposal_schema:required: [hypothesis, change_type, target, params, expected_metric, risk_level, rollback]allowed_change_types: [prompt, config, pipeline, code]require_history_check: truerisk_routing:low: auto # 自动执行medium: review # 独立评审通过后执行high: human_approve # 必须人工审批
做什么:按研究方向分组实验,采用分层调度:
为什么做:原文设想的“少数领域专家+大规模Agent”,本质上就是把专家稀缺的判断力用在方向选择上,把重复性探索交给系统。
注意什么:
调度逻辑伪代码:
def discovery_loop(goal, baseline, budgets, max_rounds=100):history = load_history()for round_no in range(max_rounds):if all_done(budgets, history):breakproposals = propose(goal, baseline, history) # 受提案模板约束proposals = dedup(proposals, history, threshold=0.9) # 相似度去重results = parallel_run(proposals, budgets) # 沙箱内并行执行for r in results:report = evaluate(r, frozen_eval, seeds=3) # 评审阶段才可访问冻结集decision = independent_review(r, report) # 独立于执行者的评审history.append(make_record(r, report, decision))if decision == "accept":baseline = promote(r, baseline) # 通过后才更新基线return baseline, history
做什么:建立“执行者自检+独立评审+人工抽检”三层验证:
为什么做:自动改进最常见的失效模式是“奖励黑客”。执行者可能修改测试、泄露答案,或在边界样例上投机取巧。执行与评审同源,相当于考生自己批改试卷。
注意什么:
做什么:每条实验记录都结构化存储,包含假设、变更内容、评测结果、评审结论、失败原因和关键产物路径。下一轮提案前先检索相似历史,优先借鉴已验证有效的方案,回避已失败的方向。
为什么做:原文强调“从历史实验结果中学习”。只有把失败也沉淀为知识,循环才能越跑越准,而不是在同一类问题上反复试错。
注意什么:
做什么:在框架层设置权限分级和自动熔断,触发条件可配置:
circuit_breaker:max_consecutive_failures: 10 # 连续失败次数,达到后暂停max_rounds_without_gain: 15 # 连续无显著收益轮数,达到后暂停并转人工cost_budget_exceeded: pause # 预算超限即暂停eval_anomaly: alert_and_pause # 评测异常(如通过率骤升至不合理水平)即告警暂停permissions:frozen_eval: read_onlyprod_config: none # 禁止自动改进流程改写生产配置
为什么做:赋予系统“自我修改”能力之前,必须先定义“不能修改什么”。尤其要禁止自动化流程自行修改评测标准、权限规则或自身代码中的安全约束。否则,改进循环可能演变成对约束的规避。
注意什么:
原文提到,该团队目前运行约20个自动化改进循环。从几十到数万Agent,应按阶段扩容:
每个阶段设准入条件,例如采纳率、显著有效率、单次有效改进成本达到约定标准,再进入下一阶段。
| 序号 | 指标 | 说明 |
|---|---|---|
| 1 | 采纳率 | 被采纳的变更数 ÷ 有效提案数 |
| 2 | 显著有效率 | 通过独立评测且通过盲评的采纳变更占比 |
| 3 | 回归率 | 上线后指标回退的变更占比,越低越好 |
| 4 | 累计收益曲线 | 随时间观察是否持续增长,何时进入平台期 |
| 5 | 自动化覆盖率 | 从提案到评审由系统完成的比例 |
| 6 | 专家耗时 | 专家每周投入时间的变化,对应生产力提升目标 |
| 7 | 单改进成本 | 每条有效改进消耗的实验次数、算力与调用费用 |
| 8 | 故障与熔断次数 | 出现异常与触发熔断的频次 |
| 9 | 真实业务指标 | 灰度或A/B实验中的业务效果,而非仅离线指标 |
从采纳与拒绝的变更中各抽取样本,隐去来源后交给评审人或评审Agent重新评分。盲评与自动评审的一致率持续偏低,说明评审标准本身需要修订,而不能据此判断候选变更的好坏。
| 问题现象 | 常见原因 | 排查与处理思路 |
|---|---|---|
| 评测分数大幅提升,人工抽检却认为一般 | 评测集泄漏或采样偏差,执行者针对评测样例“刷分” | 核对评测集与训练数据的重叠情况,补充对抗样例,使用轮换评测集复测 |
| 采纳率高但上线后收益不明显 | 离线指标与业务目标不一致 | 引入影子运行或小流量灰度,以真实业务指标校准离线指标 |
| 提案高度重复,实验量很大却无新增收益 | 历史检索缺失,或提案提示不充分 | 检查历史记录完整性和检索召回质量,在提案模板中强制引用相似历史 |
| 实验频繁失败或超时 | 沙箱资源不足、依赖不稳定、超时设置不合理 | 检查资源配额与超时配置,固定依赖版本,设置重试上限与死信队列 |
| 成本与算力消耗失控 | 缺少预算限制,大规模评测成本过高 | 开启预算熔断,采用分层评测(先小样本初筛,再全量复核) |
| 评审结论前后矛盾 | 评审标准不统一,或评审者受执行者表述影响 | 固化评审模板,评审材料去掉自我评价,增加盲评交叉校验 |
| 循环运行数轮后进入平台期 | 已触及当前任务域的能力上限,提案多样性不足 | 引入新任务、新数据或新策略,如工具调用、检索增强,或适当引入人类专家意见 |
| 出现越权修改或异常网络访问 | 工具权限过宽,或外部内容携带恶意指令 | 最小权限化,对不可信内容做隔离与标注,网络访问走白名单审计代理 |
搭建闭环的过程,也最容易看清RSI的边界。
因此,判断一个“自动改进”项目,可以问三个问题:
三个问题的答案,决定了它更接近“自动化的科研助手”,还是真正的“自我进化”。
本教程从“AI自我进化”这一热议话题出发,先厘清RSI的定义和当前边界,再给出搭建自动改进闭环的完整方案,覆盖从目标定义、基线评测、沙箱执行、提案生成、并行调度、三层验证、知识沉淀到安全熔断九个步骤。读者可以借助伪代码和示意配置快速落地,并通过九项验收标准判断闭环的真实成效。
工程上最值得记住的是:闭环的价值不在于让系统跑得多快,而在于让每一次改进都真实、可复现、可审计。 自动改进循环可以显著降低重复试错成本,让少数领域专家把精力集中在方向判断和关键决策上,这与“专家生产力提升20至50倍”的设想方向一致。不过,这一目标是需要持续验证的工程假设,而不是已经成立的结论。
后续可继续关注:
不妨先从一个最小闭环开始,跑通“一个目标、一个方向、一次实验”,再逐步扩展到规模化协作。