简介:当某旗舰大模型宣称在通用智能评测上接近满分、宣告人类迈入新纪元时,开发者真正该追问的是:这个分数究竟来自模型本体,还是模型叠加专属脚手架后的整体表现?本文对比这两种能力形态的架构、泛化性、成本与适用场景,帮助你在选型、复现与迁移时看清评测分数的真实含义。
某头部模型厂商近期发布了一款新一代旗舰大模型,并宣称在”衡量通用人工智能差距”的一类评测基准上,通过模型叠加专属工程脚手架(Harness/编排层)的方式,取得了接近满分(宣称 99.9%)的成绩,进而对外表述”人类已进入 AGI 时代”。
这类叙事在技术上值得拆解,原因在于该评测基准的设计目标本身就是”测量距离通用人工智能还有多远”。当分数逼近满分时,很容易被解读为”差距已消失”。但工程实践中有一个反复出现的现象:同一模型本体,在不同脚手架下,同一基准上的表现可以相差巨大。这就引出了一个对开发者和架构师非常关键、却常被营销话语掩盖的对比问题——我们评估的到底是模型本体的固有能力,还是”模型 + 专属工程脚手架”这一整套流水线的综合表现?
本文的对比对象正是这两种能力形态,帮助你在选型、复现和迁移时不被单一分数误导。
对象 A:模型本体能力(Base Model Capability)
指模型权重本身在面对任务时,直接完成推理与输出的固有能力。你把任务以标准输入喂给模型,模型经过一次(或有限几轮自回归)推理给出结果,其间不引入外部编排、工具调用、搜索验证或任务分解。它反映的是”参数里编码了什么”,是模型能力的基线。
对象 B:模型 + 专属工程脚手架(Model + Harness)
指在模型本体之外,额外增加一层面向特定任务或特定评测格式的工程封装,通常包含但不限于:提示词工程与格式约束、任务分解与多步编排、工具/函数调用、候选解的搜索与筛选、结果验证与自我一致性投票、记忆与状态管理等。它的目标是把模型的”生能力”最大化地转化为”这一评测上的正确率”。
需要强调的是,脚手架本身是通用工程概念,业界普遍存在。问题不在于用不用,而在于如何归因一个高分。
1. 能力来源不同
对象 A 的能力几乎完全来自权重;对象 B 的能力来自”权重 + 测试时计算(test-time compute)+ 外部增强”。同一模型,脚手架通过多轮采样、搜索与验证,可以把单次正确率显著放大。这意味着”接近满分的成绩”可能是推理阶段工程投入的结果,而非模型参数里”理解了 AGI”。
2. 泛化与过拟合风险不同
这是最关键的差异。专属脚手架往往是围绕评测格式深度定制的(如何解析题目、如何组织多步推理、如何验证候选解)。它能刷高这个基准的分数,但换一套题面、换一种表达、或换到真实开放任务时,收益可能大幅衰减。换句话说,对象 B 的高分可能部分是”对基准格式的适配”,而对象 A 更能反映可迁移的通用能力。
3. 成本与延迟结构不同
对象 B 通常需要更多推理调用、更长的响应链、额外的验证步骤,带来更高的单次成本、延迟与系统复杂度。对象 A 只需一次推理,成本低、延迟小、易复现。把 B 的成绩直接当作”能力大幅提升”时,应同时看到其资源代价。
4. 可复现性与迁移难度不同
对象 A 复现简单:给定相同输入与解码参数即可得到相近结果。对象 B 复现困难:脚手架的提示策略、搜索算法、验证逻辑往往是工程黑盒,未公开时几乎无法复现,也难以迁移到其他任务或自建体系。
5. 评测意义不同
对象 A 的分数接近”模型能力下界”,对象 B 的分数接近”当前工程手段下可达的上界”。用 B 的上界去论证”AGI 已到来”,等于把”用一套定制流水线在一套基准上刷满”等同于”具备通用智能”,这一步推断在逻辑上是跳跃的。
| 对比维度 | 对象 A:模型本体能力 | 对象 B:模型 + 专属脚手架 |
|---|---|---|
| 能力来源 | 权重内编码的知识与推理 | 权重 + 测试时计算 + 外部增强 |
| 高分含义 | 接近模型固有能力下界 | 当前工程手段下的可达上界 |
| 泛化性 | 更能反映可迁移能力 | 可能适配基准格式,迁移收益不确定 |
| 单次成本/延迟 | 低,一次推理为主 | 高,多步调用与验证 |
| 系统复杂度 | 低 | 高,需编排、状态与错误处理 |
| 可复现性 | 高,参数固定即可复现 | 低,脚手架常为工程黑盒 |
| 对”AGI 已至”的证据力 | 有限,仍需多维验证 | 更弱,易将工程成绩误读为智能跃迁 |
| 适用场景 | 通用能力评估、成本敏感场景 | 冲刺特定基准、复杂任务分解 |
回到最初的问题:一个”衡量通用智能差距”的评测被刷到接近满分,并不自动等于”AGI 已至”。真正决定结论可信度的是归因——分数来自模型本体的固有能力,还是模型叠加专属脚手架后的工程成绩。对象 A 反映可迁移的通用能力,成本低、易复现;对象 B 反映当前工程手段的上界,能冲刺极值但泛化性、成本与复现性存在不确定。对开发者与架构师而言,理性做法是拒绝被单一满分成色说服,用多维基准、透明口径和贴近真实分布的评测去交叉验证,再结合成本、延迟与运维能力做出条件化的选型判断。