简介:过去几年,大模型主要依靠数据、参数和算力扩展,在语言理解、数学推理、代码生成等已有任务上持续提升,但对过去难以完成的新问题,能力增长并不明显。本文对比“规模化优化”与“基础能力突破”两条技术路线,分析它们在目标、方法、成本、适用场景和使用边界上的差异,并讨论经验记忆、决策学习以及语言之外的视觉基座模型为何可能成为下一阶段的重要方向。
当前大模型的发展,可以抽象为两条相互关联、但并不等价的路线。
第一条是规模化优化路线,也可以理解为从“60分”提升到“90分”。它的核心做法是扩大训练数据、模型规模、计算资源和工程投入,同时改进训练流程、对齐方法、推理策略与系统部署效率。对于模型已经具备一定基础的问题,这条路线通常能够带来较稳定的效果提升。
第二条是基础能力突破路线,关注的是从“0分”到“1分”。它不再只追求已有任务上的精度提升,而是试图解决模型此前几乎不会、缺乏有效学习机制,或者无法从数据中自动获得的问题。例如,如何让模型利用过去的决策经验,如何在复杂环境中进行长期规划,以及如何让模型从无标签视觉数据中学习物体、空间和运动规律。
二者的区别并不是“工程优化”和“科学研究”的简单对立。规模扩展往往是基础突破的前提,而基础机制的创新又决定了继续扩大规模是否有效。真正的技术判断,应当是识别当前问题属于哪一类,并选择相匹配的投入方式。
当模型已经在某项任务上形成了基本能力时,增加高质量数据、参数规模和训练计算,通常能够改善以下指标:
例如,一个模型已经能够理解程序需求,但经常遗漏边界条件。继续进行针对性训练,增加高质量样本,并通过评测反馈优化,就可能使它从“基本可用”提升到“较为可靠”。
这类提升的共同特点是:模型并非完全没有能力,而是能力覆盖不完整、错误率较高或泛化范围有限。规模化方法通过增加学习机会和优化强度,持续压低错误概率。
规模扩展并不只是简单增加参数。实际工程通常包括多个层面:
因此,所谓“Scaling”并不等于盲目堆资源,而是通过系统化投入,使模型在已经存在能力基础的领域获得更高上限。
规模扩展也存在明显边界。
如果模型从训练数据中没有学到相关规律,或者任务本身缺乏清晰的反馈信号,那么继续增加资源可能只会带来有限收益。模型可以更流畅地表达答案,却不一定真正掌握因果关系;可以生成外观逼真的画面,却不一定理解物体为什么移动、遮挡关系如何变化;可以完成短期问答,却不一定能够进行跨时间的长期决策。
这意味着,模型在某些任务上可能已经从60分提升到90分,但在另一些任务上仍接近0分。两类问题需要不同的解决路径,不能仅用同一种规模化指标衡量。
所谓“0分问题”,通常具备以下特点:
这类任务的关键不是把已有能力做得更快、更准,而是建立新的学习机制。
传统大模型通常根据当前输入生成输出,历史信息主要以上下文形式提供。但对于复杂决策,仅仅“看到过去内容”并不等于“真正利用过去经验”。
更成熟的经验学习机制,需要区分至少三个层面:
例如,在一个连续任务中,模型不仅要知道此前采取了哪些行动,还要判断行动是否成功、失败原因是什么,以及这些经验能否迁移到下一次决策。其过程更接近:
观察当前状态↓检索相关历史经验↓评估过去行动的结果↓生成候选决策↓执行并获得反馈↓更新经验与策略
这与普通文本生成存在明显差异。文本生成更关注下一步输出是否合理,而经验驱动的决策还要关注长期收益、错误代价和环境变化。
语言数据具有较强的离散结构,词语、句法和上下文关系可以通过大规模无标签数据进行学习。但视觉世界更加连续、复杂,模型需要理解:
生成一张看起来逼真的图片,并不等于掌握了这些规律。图像生成可以侧重视觉外观,而真正的世界建模需要模型能够预测“如果发生某个动作,环境会怎样变化”。
因此,下一代视觉基座模型的目标,不应只是生成更清晰的画面,还应具备从海量无标签数据中学习空间结构、物体运动和时间规律的能力。这与语言模型从文本中学习语法和语义存在相似之处,但数据形式、监督信号和评测方式都更加复杂。
| 对比维度 | 规模化优化路线 | 基础能力突破路线 |
|---|---|---|
| 主要目标 | 提升已有任务的准确率、稳定性和覆盖范围 | 建立此前缺失的新能力 |
| 典型问题 | 模型会做,但做得不够好 | 模型基本不会,或缺少有效学习机制 |
| 主要手段 | 扩充数据、参数、算力和后训练流程 | 设计新的学习目标、记忆机制、交互方式或模型结构 |
| 反馈来源 | 标注数据、偏好反馈、任务评测 | 环境反馈、长期结果、跨模态规律和自监督信号 |
| 效果表现 | 通常更容易量化和比较 | 评测更困难,周期更长,结果不确定性更高 |
| 成本结构 | 计算资源与数据工程成本较高 | 研究试错、人力投入和基础设施改造成本较高 |
| 适合场景 | 已有成熟任务的规模化提升 | 新型智能能力和复杂环境适应 |
| 主要风险 | 边际收益下降,资源投入与效果不匹配 | 路线不成熟,难以快速形成稳定产品能力 |
| 评价重点 | 正确率、延迟、吞吐、稳定性 | 泛化能力、长期规划、因果理解和迁移能力 |
尽管目标不同,规模化优化和基础能力突破仍有许多共同基础。
首先,两者都依赖高质量数据。规模化训练需要清洁、覆盖充分的数据,基础能力研究也需要可用于学习规律的多模态数据、交互轨迹和反馈信号。
其次,两者都需要可靠评测。没有稳定的评测体系,就无法判断模型是获得了真实能力,还是仅仅学会了表面模式。对于复杂决策,还需要增加长期收益、失败恢复、环境变化适应等指标。
再次,两者都离不开基础设施。训练调度、数据管理、实验追踪、权限控制、日志审计和资源监控,都会影响研发效率。企业在建设相关系统时,可以根据自身需求组合使用计算资源、对象存储、数据库、消息队列、容器平台和监控告警等通用能力。
最后,两者都需要安全约束。模型能力越强,输出错误的影响范围可能越大。涉及企业数据、自动化操作或高风险决策时,应当设置身份认证、权限隔离、数据加密、人工复核和审计机制。
如果业务目标清晰,任务边界明确,且已经有较稳定的数据和评测指标,例如文本分类、知识问答、代码辅助、内容审核等,规模化优化通常更容易产生确定性收益。
此时应重点分析:
如果任务需要持续规划、动态调整和长期结果评估,仅提升单次回答质量可能不够。此时应重点建设经验记录、状态管理、反馈采集和策略评估机制。
需要特别注意,经验并不意味着无限保存历史信息。无效经验、过期经验和错误经验可能反而干扰判断,因此需要设计筛选、压缩、更新和遗忘机制。
如果应用需要理解空间、运动、环境变化或连续视觉输入,仅使用语言模型进行描述可能存在信息损失。此时应评估模型是否具备统一处理图像、视频、声音和动作信号的能力,以及是否能从无标签数据中学习稳定规律。
对于这类项目,早期不宜只看生成效果,而应增加轨迹预测、空间关系判断、状态变化识别和异常检测等评测。
无论从规模化优化转向基础能力研究,还是在成熟模型中引入经验学习,都需要控制迁移风险。
要确认历史数据是否能够复用,数据格式、标注方式和时间信息是否完整。涉及经验学习时,还要保留行动、状态、结果和反馈之间的关联,不能只保存最终文本。
模型输入可能从单次请求变为带有历史状态的连续请求,系统需要重新设计上下文管理、会话标识和失败恢复流程。若引入视觉或其他模态,还要评估数据传输、预处理和存储成本。
经验库可能包含敏感信息,不能默认所有任务共享。应按照用户、业务、项目或数据等级进行隔离,并记录经验的来源、更新时间和使用范围。
规模化优化通常更容易进行回归测试,而经验驱动系统可能出现状态累积和行为漂移。因此需要建立版本管理、灰度发布、异常回滚和人工干预机制。
规模扩展的成本主要集中在训练计算、推理资源和数据处理;基础能力突破则可能增加实验周期、存储规模、交互环境和研发人力成本。决策时应同时评估短期投入、长期维护和失败成本,而不能只比较单次调用价格。
大模型从60分走到90分,依赖的是规模、数据、工程和评测体系的持续优化;而从0分走到1分,则更需要新的学习目标、反馈机制、记忆能力和世界建模方法。
对于企业和技术团队而言,最重要的不是简单判断哪条路线更先进,而是先回答三个问题:
如果答案是已有能力不足,规模化优化往往更适合;如果答案是模型从未真正掌握相关规律,就需要关注经验学习、环境交互和语言之外的基座模型。未来的AI发展不会只由单一方向决定,而更可能是规模化工程与基础能力创新共同推进:前者负责把成熟能力做深做稳,后者负责打开新的能力边界。