简介:部署一个“自动化测试生成评测平台”(简称评测平台),在同一任务集上比较不同编程智能体生成的测试谁更可靠。部署完成后,可输出参考成功率与联合成功率双指标报告,其中联合成功率要求测试在原代码上失败、接受全部正确实现、拒绝全部错误实现。文中涵盖资源规划、环境准备、流程、配置、验证、排查与运维,适合开发者、运维、架构师和企业技术团队参考。
本文要部署的是一套“自动化测试生成评测平台”(下称“评测平台”)。平台由6个部分组成:
它的工作闭环是:读取任务集 → 调用编程智能体生成测试 → 在沙箱中隔离执行 → 汇总通过/失败信号 → 计算指标 → 输出报告与失败轨迹。
部署完成后,团队只需切换“智能体配置”,就能在同一批任务上得到可比的评测结果,回答“哪套配置的测试更可靠、失败主要出在哪类错误上”。这一能力可以接入研发流程,作为智能体或模型版本迭代的准入参考。
评测平台同时连接三类资源:大模型推理服务、任务样本数据、隔离执行环境。因此它的部署难点不只在“把服务跑起来”,更在于沙箱隔离、评测口径一致、结果可复现以及大批量执行时的资源调度。
多数传统测试生成评测采用单一参考评测:生成的测试只要满足两点,就被记为成功。
这套判定看似简单,但同一需求往往有多种正确写法,也有大量“看起来合理、实际有缺陷”的实现。只对照一份参考答案,会出现两类偏差:
结果就是:测试质量很可能被系统性高估。某高校研究团队提出的新测试生成评测基准印证了这一点。该基准包含:
其核心指标要求生成的测试满足3个条件:
在这套基准上,14种编程智能体配置中表现最好的配置,传统单一参考评测成功率达到59.67%,而更严格的联合成功率只有28.00%。换句话说,超过一半在参考答案下“通过”的测试,换一批实现就不再可靠。
该团队还做了两件事:
这项研究也说明:评测平台必须能批量、隔离地执行大量代码,并按统一口径给出多条件判定的结果。因此它适合以独立服务的方式部署在云上,而不是以本地脚本方式零散运行。
本文适合以下读者:
阅读前建议了解:测试用例的基本概念、容器与镜像的基础用法,以及对象存储、关系型数据库、负载均衡等云上基础组件的作用。
| 场景 | 使用方式 | 部署重点 |
|---|---|---|
| 版本回归评测 | 每次智能体或模型配置更新后全量或抽样评测 | 任务集版本锁定、结果可对比、一键触发 |
| 新配置上线准入 | 用联合成功率等指标作为准入门槛 | 指标口径固定、执行环境一致、结果可审计 |
| 评测集建设 | 导入新任务,构建并核验正确/错误实现面板 | 数据版本管理、面板校验流程、权限分级 |
| 失败分析与研究 | 按错误机制分类检索失败轨迹 | 日志与轨迹完整留存、可检索、可标注 |
评测平台建议按以下分层部署:
| 层级 | 核心组件 | 主要职责 |
|---|---|---|
| 控制面 | 管理控制台与评测 API、任务调度器、智能体调用层 | 接收任务、调用模型生成测试、分发执行任务 |
| 执行面 | 沙箱池(运行原始代码、标准答案及候选实现) | 隔离运行代码,采集通过/失败信号 |
| 数据面 | 对象存储、关系型数据库、缓存或消息队列 | 存放任务集与轨迹,记录运行状态,缓冲执行任务 |
| 观测面 | 日志服务、监控告警、可选的调用链追踪 | 记录运行日志,监控资源与任务指标,异常通知 |
推荐将控制面与执行面分开部署:
两者解耦后,可以分别伸缩,互不影响。例如沙箱扩容不会打断评测提交,控制面升级也不会中断正在执行的任务。
| 形态 | 适合情况 | 优点 | 注意点 |
|---|---|---|---|
| 容器平台 | 大多数团队 | 沙箱快起快销毁、弹性好、调度方便 | 需配置资源限制与隔离策略 |
| 云服务器集群 | 执行环境复杂,或有特殊系统依赖 | 对运行环境控制力强 | 扩缩容与调度需自行实现 |
| 函数计算 | 单次执行短、任务高度离散 | 免运维、按实际用量计费 | 执行时长与资源规格受限,不适合长任务 |
| 私有/混合环境 | 任务样本或代码不宜出内网 | 数据可控 | 需打通与推理服务的访问,并统一两侧配置 |
选择时先回答三个问题:
无论选哪种形态,“任务与实现分离、执行与结果分离”的设计原则都应当保持。
评测平台的资源需求主要由执行次数和执行时长决定,而不是由页面访问量决定。可以按以下顺序估算。
① 执行次数
单个配置完整评测一次,需要执行的“实现×测试”组合次数约为:
总执行次数 ≈ Σ 每个任务的(1 + 该任务的候选实现数)
之所以要乘“1 +”,是因为除了全部候选实现,还必须包含原始代码本身:联合成功率首先要求测试在原始代码上失败。若一个任务有10个候选实现,就是11次执行;每个用例若需重复运行多次以排除波动,还要再乘重复次数。
以本文提到的基准为例,按每个任务平均10个候选实现估算,单个配置全量评测约需3600次实现执行。再加上为生成测试而进行的模型调用,一个配置一轮评测的工作量并不小。对比多种配置时,整体工作量会成倍增长。
② 执行时长与并发
沙箱数量与排队时间可以这样估算:
沙箱数量 ≈ 总执行时长 ÷ 目标完成时间
预估排队时间 ≈ 总执行时长 ÷(沙箱数量 × 单次执行并发度) − 平均执行时长
其中,总执行时长 = 总执行次数 × 单次执行平均耗时;单次执行并发度指同一实现上的用例可并行程度。如果用例之间共享状态,只能串行执行,这一项应取1。
③ 资源规格
④ 容量预留
新版基准导入或全量回归前,任务数可能成倍增长。建议沙箱池以弹性伸缩为主、常驻节点为辅,并提前确认云上资源配额足以支撑峰值。
| 类别 | 准备项 | 说明 |
|---|---|---|
| 账号权限 | 云平台账号、子账号与访问密钥 | 控制面与执行面使用不同身份,遵循最小权限 |
| 网络 | 私有网络、子网、安全组、出网策略 | 执行面默认禁止访问公网,需单独规划受控出口 |
| 计算 | 沙箱节点/容器资源、控制面节点 | 规格按3.1节估算,预留弹性余量 |
| 存储 | 对象存储桶、关系型数据库 | 样本与轨迹存对象存储,元数据与指标存数据库 |
| 任务数据 | 任务描述、原始代码、标准答案、正确/错误实现面板 | 统一版本号,导入前完成校验 |
| 密钥 | 推理服务凭据、访问凭据 | 存放在密钥管理类服务中,不写入代码与镜像 |
| 镜像 | 基础镜像与依赖清单 | 预先固定版本,支持离线或内网获取依赖 |
| 入口 | 域名、证书、访问控制策略 | 评测报告可能含代码片段,应按内网访问设计 |
| 监控 | 指标采集、日志采集、告警通知 | 上线前配齐,避免上线后“看不见” |
其中,依赖固定和任务集校验最容易被忽略,却直接决定结果是否可信:
任何一项不通过,都应将该任务标记为“待修复”,不进入正式评测。否则一个坏样本会同时污染多个配置的结果。
下面给出一份通用风格的配置样例,仅用于说明各参数的作用,具体键名需以实际所用平台的文档为准。
# 评测运行配置(通用示意,非任何平台的专有格式)run:task_set_version: "ts-2024-06-01" # 固定任务集版本,保证多次评测可比repeat_times: 3 # 每个用例重复执行次数,用于识别偶发波动concurrency: 4 # 控制面向推理服务发起的并发上限agent:name: "agent-config-a" # 标识一套智能体配置(模型+提示词+工具)max_turns: 30 # 单次生成的最大交互轮次,防止陷入循环max_tokens: 65536 # 单次生成的输出长度上限seed: 20240601 # 固定随机种子,提高可复现性sandbox:image: "<私有镜像仓库>/eval-runner:stable" # 固定版本的执行镜像cpu: 2 # 单沙箱 CPU 核数memory: "4Gi" # 单沙箱内存上限disk: "10Gi" # 单沙箱磁盘配额timeout: 600s # 单次执行超时network: none # 默认禁网,必要时按任务白名单放行copy_dirs: # 允许从沙箱回传的产物目录- "/workspace/.test_runs" # 执行轨迹- "/workspace/.results" # 结构化执行结果metrics:reference_success: true # 统计传统单参考成功率joint_success: true # 统计联合成功率(要求见3.4节)baseline_sample_size: 5 # 结果波动较大时,对关键配置重复评测的次数report:attach_trace_on_failure: true # 失败时自动关联轨迹,便于归因
联合成功率是评测平台的核心指标。对一个任务而言,只有生成测试同时满足以下3个条件,该任务才计为成功:
| 编号 | 条件 | 作用 |
|---|---|---|
| C1 | 在原始代码上失败 | 能暴露已有缺陷 |
| C2 | 接受全部正确实现 | 不把正确写法误判为错误 |
| C3 | 拒绝全部错误实现 | 能识别各类有缺陷的实现 |
单个任务的联合成功率 = 同时满足C1、C2、C3的用例数 ÷ 有效用例数;整体联合成功率 = 成功的任务数 ÷ 有效任务数。
评测平台上还应同时统计传统单参考成功率,并展示二者的差值。“参考成功但联合失败”的数量,就是传统口径高估的部分。
整体顺序如下:
网络与安全 → 存储与数据 → 控制面服务 → 执行面沙箱 → 入口与权限 → 冒烟验证
“先底座、后服务,先控制面、后执行面”的顺序能避免一个问题:控制面已上线,执行面却未就绪,任务因此大量堆积甚至失败。
这样做的原因是:执行的是模型生成的代码,不能假定其可信。网络隔离是第一道防线。
注意区分“任务包”和“运行记录”:任务包随任务集版本变化,运行记录随每次评测增长。二者分开存放,才能既追溯历史,又控制存储成本。
按“配置与密钥 → 数据库初始化 → 服务启动 → 健康检查”的顺序部署:
控制面至少部署两个实例,前面挂负载均衡,避免单点故障。
这样即使某个沙箱异常退出,任务也能被其他节点重新领取,不会整批丢失。
用一个简单任务跑通完整链路:生成测试 → 执行 → 判定 → 入库 → 生成报告。确认报告中的判定与人工预期一致后,再放开全量评测入口。
将以下内容纳入版本管理:
每次评测记录任务集版本、镜像标签、配置版本和平台版本。只有这样,不同时间的评测结果才具备可比性。
| 验证项 | 方法 | 通过标准 |
|---|---|---|
| 链路连通 | 提交单个小任务 | 端到端完成并生成报告,耗时在预期范围内 |
| 指标计算正确性 | 构造已知结果的小型样本集 | 联合成功率与手工计算结果完全一致 |
| 隔离有效性 | 在沙箱中运行占用大量内存、长时间循环、尝试访问外网的用例 | 被资源限制或超时机制终止,不影响其他任务 |
| 可复现性 | 固定种子与版本,同一配置重复评测 | 关键指标波动在可接受范围内 |
| 资源稳定性 | 持续压测或全量评测,观察资源指标 | 无持续资源饱和,节点无异常重启 |
| 监控与告警 | 制造一次失败任务 | 日志可检索,告警能送达指定接收人 |
其中,“指标计算正确性”应作为必测项,建议准备一个10~20个任务的小型回归集:
参考“14种配置的最好成绩只有28.00%,而单一参考口径为59.67%”这一发现,上线后建议做以下对比:
| 问题现象 | 可能原因 | 排查思路与处理 |
|---|---|---|
| 大量任务执行超时 | 用例中存在死循环或长时间等待;超时阈值过低;节点资源不足 | 查看超时任务的轨迹,区分“用例问题”与“环境问题”,必要时调整超时或扩容 |
| 沙箱被强制终止(内存超限) | 用例占用内存过多,或并发过高导致节点整体内存不足 | 调高单沙箱内存上限,降低单节点并发数 |
| 测试在标准答案上通过,却在部分正确实现上失败 | 测试绑定了标准答案的实现细节,是C2未通过的典型表现 | 标记为“过度约束”类错误,纳入失败分析 |
| 测试在原始代码上就能通过 | 没有真正触发缺陷,属于C1未通过 | 检查原始代码的缺陷是否被用例覆盖,归类为“覆盖不足” |
| 指标在多次运行间波动明显 | 模型生成存在随机性;用例本身存在偶发性(如时间、并发、随机数相关) | 固定随机种子,增加重复次数取稳定值;排查并标记不稳定用例 |
| 评测越跑越慢,队列不断积压 | 并发不足;沙箱频繁重启;任务集中提交 | 查看队列长度与节点资源利用率,弹性扩容或错峰调度 |
| 控制面报推理服务限流或超时 | 并发超过配额;网络出口不稳定 | 降低控制面并发,增加重试与退避策略,必要时申请提升配额 |
| 执行结果无法回传 | 沙箱产物目录配置错误;回传通道受限 | 检查产物目录白名单与回传通道连通性 |
| 不同时间的评测结果无法比较 | 任务集或镜像版本发生了变更 | 核对评测记录中的版本信息,仅对相同版本的结果做比较 |
排查遵循“先定位层、再看证据、后动配置”的顺序:
评测平台部署的核心难点在于三点:可复现、可隔离、可比对。
建议按以下顺序推进:
研究数据表明,传统单参考评测的成功率会明显高于更严格的联合成功率,二者差距可以达到一倍以上。因此,上线后最有价值的运维工作,不是追求更高的“通过率”,而是持续跟踪两类数字之间的差值。这个差值直接反映生成测试对特定实现的依赖程度。
对于需要在大规模代码任务上评估模型能力的团队,在百度智能云上,可以把评测平台部署在云服务器或容器平台上;任务样本与轨迹存入对象存储,元数据与指标存入云数据库;入口由负载均衡统一承接,通过日志服务与监控告警做日常观测,并用密钥管理类服务托管凭据。各资源按用量弹性配置,可以在保证评测稳定性的同时控制投入。