RSI科研智能体评测平台部署指南

一、部署概述与目标

本文要部署的是一套面向AI科研智能体的长周期评测与递归自我改进（RSI）实验平台，而不是某个具体模型或单篇论文的复现环境。部署完成后，团队应能在受控网络和资源配额下批量提交科研任务，沙箱化执行智能体生成的代码与工具调用，采集实验记录、失败原因、迭代增益和成本指标，并对封闭符号任务与开放经验任务采用不同评测策略。平台还应支持记录每次迭代中的问题选择、实验设计、失败归因和改进收益，帮助团队观察递归改进是否在初期摘除低效实现后迅速收敛，而不是只看单点任务成功率。

目标读者包括开发者、运维人员、架构师和技术负责人。部署前需要理解：平台由常驻控制面、弹性执行面、数据与存储面、安全与可观测面组成；服务形态是任务编排加沙箱执行；运行环境可采用云上容器化、虚拟化或混合环境；管理面与任务出站网络需要分离；数据依赖包括评测集、任务模板、实验元数据、日志和对象存储。部署目标不是宣称平台能提升模型能力，而是让评测过程可复现、可审计、可回滚、可控制成本。

二、适用场景与能力边界

该平台适用于四类场景。第一，科研智能体能力评测。对于数学、符号推理等封闭任务，可采用自动判定和标准答案比对；对于生物、化学、生态、地球科学等经验任务，需要接入数据工具、模拟工具和外部知识源，并保留人工复核环节。第二，RSI闭环实验。平台应记录每轮改进的代码变更、配置变更、任务模板变化和收益曲线，避免把短期效率提升误判为长期递归改进。第三，经验学科工具链验证。工具调用必须在隔离沙箱内执行，出站访问采用白名单，防止不可信代码访问敏感数据。第四，版本准入与灰度对比。新模型、新任务模板或新工具适配器上线前，先以低并发试运行，对比成功率、复现性、成本和失败模式，再决定是否扩大范围。

需要明确平台的能力边界：它负责运行、隔离、记录和评估，不替代科研判断；它可以暴露研究品味、框架性创新和失败归因等能力差异，但不能仅凭单一指标给出绝对结论。对于开放经验任务，人工评审和多维指标必须纳入流程。

三、架构与关键组件

平台建议划分为五个部分。控制面包括任务编排、评测控制器、配额管理、权限管理和审计服务，负责接收任务、分配资源、控制并发和记录操作轨迹。执行面包括沙箱容器、任务队列、工具适配层和模型服务接入层，负责在隔离环境中运行智能体生成的代码与工具调用。数据面包括对象存储、关系型数据库、缓存、消息队列、日志服务和指标存储，负责保存评测集、任务模板、实验元数据、运行日志和结果文件。访问面包括负载均衡、接口网关、身份认证、证书管理和访问控制，负责管理面安全入口。安全与可观测面包括网络分区、密钥管理、只读挂载、出站白名单、资源限额、健康检查、告警和链路追踪。

这样划分的原因是：科研任务具有长周期、突发并发和不可信代码执行特点，控制面与执行面解耦后可以独立扩容；数据面与执行面分离可以避免任务故障影响评测记录；安全与可观测面独立建设，才能在出现异常时快速定位是模型问题、工具问题、网络问题还是资源问题。

四、前置准备清单

类别	准备项	说明
账号权限	管理账号、运维账号、审计账号	按最小权限分配，管理面与任务执行面权限隔离
网络规划	管理网段、执行网段、数据网段、出站白名单	管理面仅允许受控访问，执行面限制外联
计算资源	通用计算节点、加速卡资源、弹性配额	根据并发任务数、任务时长和峰值规划容量
存储资源	对象存储空间、共享存储、临时存储	区分评测集、结果文件、日志和临时工作目录
数据服务	关系型数据库、缓存、消息队列	保存元数据、任务状态和异步消息
可观测	日志服务、指标服务、告警通知	覆盖控制面、执行面、数据面和接口状态
镜像与包	内部沙箱镜像、任务包、依赖包	固定版本，禁止运行时随意拉取未审核依赖
评测资产	评测集、任务模板、评分脚本、人工评审表	版本化管理，支持回滚和对比
工具适配	工具适配器、参数模板、超时与重试策略	统一工具调用协议，记录输入输出摘要
密钥证书	模型服务密钥、数据库凭据、访问证书	使用密钥管理服务注入，禁止写入配置文件
回滚资产	上一版本配置、镜像、模板和数据库快照	部署异常时可快速恢复

前置准备的核心是环境一致性和可复现性。开发、测试、生产环境应使用相同依赖版本和任务模板版本；配置文件、环境变量和密钥信息应分离管理；网络端口、连接地址和证书应提前规划，避免上线后临时开放过多权限。

五、部署流程

1. 环境初始化与资源规划

先划分管理区、执行区和数据区。管理区部署控制面与访问入口；执行区部署沙箱和任务队列；数据区部署数据库、对象存储、缓存和日志。计算资源按任务并发数、单任务时长和加速卡需求估算，存储容量按评测集、结果文件和日志保留周期估算。网络带宽要预留任务结果回传和日志上传峰值。资源规划不足会导致任务排队、超时和成本失控；规划过度则造成闲置浪费。

2. 网络与安全策略配置

管理面只允许受控网段或白名单访问，接口入口启用身份认证和加密传输。执行面默认禁止主动外联，仅对必要的工具服务、模型服务和数据源开放出站白名单。沙箱使用只读挂载和临时工作目录，任务结束后回收。审计日志记录任务提交、权限变更、密钥使用和异常访问。该步骤的重要性在于智能体可能生成不可信代码，若网络隔离不足，可能造成数据泄露或资源滥用。

3. 数据与存储初始化

创建对象存储空间、关系型数据库表、缓存实例和消息队列主题。对象存储保存评测集、任务输入、结果文件和归档日志；数据库保存任务状态、实验元数据、评分结果和版本信息；缓存保存短期任务状态；消息队列解耦任务提交与执行。初始化后导入评测集、任务模板和评分脚本，并建立备份策略。该步骤保证每次实验可追溯、可复现。

4. 控制面部署

部署任务编排、评测控制器、配额管理、权限管理和审计服务。控制面以常驻服务运行，配置健康检查、自动重启和版本化配置。任务编排负责排队、分配和超时控制；评测控制器负责采集结果和计算指标；配额管理限制单团队并发和工具调用次数。控制面异常会导致任务无法调度，因此需要多副本或快速恢复策略。

5. 执行沙箱部署

部署内部沙箱镜像和弹性执行节点。沙箱配置计算限额、内存限额、临时存储限额、任务超时、只读挂载和网络策略。执行节点按队列长度弹性扩展，空闲时回收。沙箱启动后先执行环境自检，再接收任务包。该步骤决定不可信代码是否被有效隔离，也决定长周期任务是否稳定。

6. 工具适配与模型服务接入

工具适配层统一封装工具调用参数、返回值、超时和重试策略；模型服务接入层配置内部推理服务地址、认证方式和调用限额。密钥通过密钥管理服务注入，不写入任务包。工具调用结果记录输入摘要、输出摘要、耗时和错误码，便于失败归因。对于经验学科任务，工具适配器要明确数据访问范围和出站白名单，避免越权访问。

7. 任务模板与评测集导入

封闭符号任务可使用自动评分和标准答案比对；开放经验任务采用任务成功率、复现性、成本、工具调用合理性、失败归因质量和人工评审等多维指标。任务模板应版本化，记录问题选择、实验设计、依赖工具和评分规则。导入后先做小样本校验，确认评分脚本和结果解析无误。

8. 试运行与灰度上线

先提交小规模任务，验证控制面调度、沙箱创建、工具调用、结果写入和指标上报。通过后按团队或任务类型灰度放量，保留旧版本配置和镜像。若出现异常，停止新任务提交，切回旧版本模板或镜像，隔离故障执行节点，必要时恢复数据库快照。灰度上线可以避免全量故障和不可逆的数据污染。

六、关键配置说明

配置项	作用	风险点
任务并发配额	控制单团队或单任务的并发数	过高导致资源争用，过低导致排队
任务超时	限制长周期任务运行时间	过短误杀正常任务，过长占用资源
沙箱资源限额	限制计算、内存和临时存储	限额不足导致任务失败，过高导致成本上升
出站白名单	限制工具和模型服务访问范围	过宽增加泄露风险，过窄导致工具不可用
密钥注入方式	运行时注入凭据	写入配置或日志会造成泄露
日志脱敏	隐藏敏感参数和返回内容	脱敏过度影响排障，不足则泄露数据
重试策略	处理临时性工具或网络故障	无限重试会放大故障和成本
评估指标	统一成功率、成本、复现性等口径	指标单一会误判能力差异
存储生命周期	控制结果和日志保留周期	保留过短影响复现，过长增加成本

配置管理应遵循环境隔离原则：开发、测试、生产使用不同配置集；连接地址、端口、密钥和配额参数通过环境变量或配置中心管理；每次变更记录版本和变更人。

七、通用配置示例

experiment:
  name: research-agent-eval
  sandbox:
    image: <internal-agent-sandbox-image>
    cpuLimit: 4
    memoryGiBLimit: 16
    timeoutMinutes: 60
    readOnlyMount: true
  quota:
    maxConcurrentTasks: 20
    maxToolCallsPerTask: 200
  network:
    outboundAllowlist: [<tool-service-endpoint>, <model-service-endpoint>]
  evaluation:
    metrics: [taskSuccess, reproducibility, costPerTask, iterationGain]
    manualReview: true

该示例仅表达配置逻辑，不包含具体平台参数。上线时应根据任务类型、资源容量和安全策略调整。

八、上线验证

上线验证应覆盖：控制面健康检查通过；任务能够正常提交并进入队列；沙箱能够按限额启动并执行任务包；工具适配层能够完成受控调用；模型服务接入正常且密钥未泄露；结果文件和实验元数据正确写入；指标和日志正常上报；审计记录完整；资源水位在预期范围；失败任务能够超时终止并释放资源；旧版本配置和镜像可回滚。建议用一组固定评测集做基线对比，确认同一任务在相同配置下结果可复现。

九、常见问题与排查

问题	可能原因	排查与处理
任务长期排队	并发配额不足、执行节点不足	检查队列长度、配额和节点水位，按需扩容
沙箱启动失败	镜像异常、资源不足、网络策略阻断	查看调度日志和沙箱事件，校验镜像和资源限额
工具调用超时	工具服务不稳定、白名单错误、参数过大	检查工具健康状态、出站策略和超时配置
结果不可复现	依赖版本漂移、随机种子未固定、数据变化	固定镜像和依赖版本，记录数据版本和随机种子
资源争用	并发过高、长任务占用资源	调整配额、队列优先级和超时策略
密钥错误	注入失败、权限不足、过期	检查密钥管理、权限绑定和有效期
日志过大	调试日志过多、未设置生命周期	调整日志级别，启用脱敏和生命周期策略
成本飙升	失败任务重试、闲置资源未回收、存储未清理	限制重试次数，启用空闲回收和存储生命周期
网络阻断	白名单缺失、证书过期、路由错误	校验访问策略、证书和网络路由

十、运维与优化

运维阶段应建立监控告警：资源指标看计算、存储和网络水位；应用指标看任务成功率、排队时长、超时率和工具调用失败率；接口状态看管理面和模型服务可用性；错误日志和链路追踪用于定位失败归因。安全上坚持权限最小化、密钥定期轮换、访问白名单和日志审计。稳定性上配置健康检查、自动重启、限流、超时、重试、备份和故障恢复。性能上可使用缓存、连接池、异步任务和批处理，按队列长度弹性扩容。成本上设置任务并发上限、失败任务快速终止、闲置资源回收、存储生命周期和按团队成本标签。版本更新采用灰度发布，保留旧镜像、旧配置和数据库快照，确保可回滚。

十一、总结

部署RSI科研智能体评测平台的关键不是单一模型接入，而是建立受控执行、版本化评测、可审计记录和可回滚运维的完整闭环。本文从部署目标、适用场景、架构组件、前置准备、部署流程、关键配置、上线验证、问题排查和运维优化展开，帮助团队稳定运行长周期科研评测任务，观察递归改进收益是否收敛，并在安全、成本和可复现性之间取得平衡。上线后应持续关注任务成功率、复现性、迭代增益、资源水位和安全审计，按灰度节奏更新版本，确保平台长期稳定运行。