简介:新版通用大模型的首批能力测试,范围已从写代码、做网页扩展到3D建模、城市重建与自主闯关,背后是“单轮问答”与“长任务智能体”两种用法的差异。本文从任务粒度、工具调用、执行时长、质量验收、安全权限、成本与运维等维度展开对比,并给出场景化选型建议、接入示例与迁移注意事项。
近日,新一代通用大模型“方案A”向部分付费用户分批开放,一批内测用户公开了实测结果。在一位知名开发者给出的测试中,模型十几分钟就在三维建模软件里搭出一台带滚轮、菜单和经典界面的便携播放器,并把它做成查看自身会话记录的桌面应用。此外,模型还完成了一个海边别墅场景,房间陈设、桌面细节和远景植被一应俱全,同期另一款模型的同类结果则停留在基本框架层面。其他案例中,模型根据一套在售房源的信息重建了房屋三维模型并生成宣传视频,沿街逐条搭建了曼哈顿街区与中央公园周边的城市轮廓,并在一款回合制角色扮演游戏中完成了从捕捉到进化的完整流程。
这些案例的类型各异,却指向同一个变化:任务形态正从“一问一答”转向“接软件、塞工具、开长期任务”。前者是同步的文本交互,后者是由模型持续规划、调用外部工具、在真实环境中产出文件的执行过程。
工程上可将两者视为大模型应用的两种调用模式:
本文对比的就是这两种模式:区别在哪里,又该如何取舍。
开发者在一次HTTP请求中提交提示词(可附图片等输入),模型返回文本、代码或结构化结果。典型形态包括智能客服问答、文档摘要与翻译、代码补全与评审、文案与脚本初稿、结构化信息抽取。技术上是无状态的请求-响应调用,由调用方负责发起、接收和校验结果。
开发者提交目标而非指令,模型在带工具权限的运行环境中自主完成以下步骤:
技术上是“模型调用 + 运行时环境 + 任务编排”的组合:每个任务是一个有状态、长时运行的作业,最终产物是可直接使用的工程、模型文件或视频。
1. 能力底座同源:两种模式都由同一类大规模预训练模型驱动,对复杂指令的理解、多步推理与代码生成能力来自同一底座,差异主要在于使用方式和工程配套。
2. 仍以概率生成为核心:两者都会产生幻觉、细节偏差和“看起来合理但实际不对”的结果。内测案例中“成片细节不够准确”的评价,对两种模式同样成立,都需要输出校验。
3. 对上下文质量高度敏感:目标描述不清时,单轮调用答非所问,长任务则会在错误方向上越走越远,甚至把大量算力消耗在返工上。提供清晰的验收标准与参考材料,是两者共同的前提。
4. 安全与合规要求一致:两者都需要身份认证、最小权限、敏感信息保护、内容审核与调用审计,都不能跳过企业既有的数据治理与合规流程。
方案A的任务在请求内结束,输出通常是一段需要人工采纳的文本。方案B的任务跨越多个执行阶段,终态是能够打开、运行或播放的实体产物。二者的评测口径不同:前者看单次回答的准确率和有用性,后者看端到端完成率、人工返工次数和单次任务资源消耗,单点指标不再能反映真实质量。
方案A的工具使用通常限于函数调用或联网检索,系统边界止于模型服务。方案B的边界延伸到沙箱环境、三维建模软件、图像与视频处理工具、版本控制仓库、对象存储等外部依赖。这些依赖的版本、授权与安装位置都会直接影响结果,环境准备本身成为工程工作的一部分。
方案A以秒级返回为主,一般同步调用即可。方案B的任务可持续数分钟乃至数小时,内测案例中的长耗时任务以小时计;每一步还要在规划、执行、观察之间往返。直接套用同步HTTP超时、前端阻塞等待的做法会导致超时和重复执行,必须采用异步任务提交、进度查询或事件回调、超时与重试控制。
方案A天然无状态,多轮对话由应用维护消息列表。方案B需要持久化当前步骤、工作区文件、工具输出与错误历史,并支持断点续跑。示意如下:
# 方案B的通用调度伪代码(接口均为示意,需替换为所选平台的实际接口)MAX_STEPS = 50 # 单任务最大执行步数TIME_BUDGET = 3600 # 单任务时间上限(秒)HUMAN_GATES = {"review_scene", "review_video"} # 需人工确认的检查点def run_agent(task, ctx):state = ctx.load_state(task.id) or {"step": 0, "messages": [], "artifacts": []}deadline = now() + TIME_BUDGETwhile state["step"] < MAX_STEPS and now() < deadline:reply = model_call(state["messages"], tools=ctx.tools, workspace=state["artifacts"])if reply.type == "finish":return finalize(state["artifacts"])if reply.type == "tool_use":result = ctx.run_tool(reply.name, reply.args, workspace=state["artifacts"])state["messages"].append(reply)state["messages"].append(result)if ctx.needs_human_review(reply.name) and not ctx.approved(task.id):return pause_for_review(task.id, state) # 人工确认后续跑elif reply.type == "ask":return pause_for_input(task.id, state) # 信息不足时请求补充state["step"] += 1ctx.save_state(task.id, state)return degrade_to_manual(task.id, state) # 超时或超限,交接人工
方案A的接入则要简单得多:
# 方案A的通用调用伪代码(省略鉴权与错误处理)result = model.complete(messages=[{"role": "system", "content": system_prompt},{"role": "user", "content": user_prompt}],max_output_tokens=800,)return result.content
方案A的质量在单次回答中体现,评测评测集、人工抽样和规则校验即可。方案B在以下多种产物之间应保持一致性:任务计划、中间文件、场景文件、渲染帧、最终视频。任何一环出错都会向下游传导,因此需要分层验收:
在多模型对比时,同一提示词下的差异往往首先体现在中间环节:能否补齐沙发褶皱、杯具、摆件和植被,正是“框架”与“可交付”的分水岭。
方案A中模型只给出答案,由人决定是否采纳和执行。方案B中模型编写的代码会在沙箱内真实运行,包括调用系统命令、读写文件和下载依赖,执行的是模型生成的内容,运行的是具备权限的环境。内测案例是触发这一差异讨论的直接原因,也决定了两者在安全设计上的重心完全不同。
在类似游戏的用例中,玩家需要观察并操作数百个界面,这本身就是对模型执行能力的检验。软件、三维模型与视频类产物,也可以借助编译、渲染、自动检查完成闭环验证。
不过,一次性生成的产物仍可能存在细节偏差,内测者自己也承认“还没继续返工”。工程上更稳妥的做法是把校验循环显式化:
for attempt in range(3): # 设置有限返工次数,避免无限循环artifact = agent.run(spec, workspace)issues = validator.check(artifact) # 编译、渲染或自动检查if not issues:breakagent.feedback(issues) # 把检查结果回灌给模型else:escalate_to_human(artifact, issues) # 仍不达标则转交人工
方案A的接触面主要是输入文本、返回文本与网络调用。风险集中在敏感信息进入提示词、生成内容不当、接口凭据泄露和调用频次失控。
方案B还要面对执行层风险:任意代码执行、文件与系统越权、恶意依赖、不可控外网访问,以及误删或覆盖已有文件。仅靠提示词约束模型行为并不可靠,必须依赖运行时的权限隔离和策略拦截。
方案A的成本大致与调用次数和输入输出规模成正比,容易预算和核算。方案B的成本包括:
长任务中失败的步骤同样消耗资源,因此“一次跑通”与“反复重跑”之间的成本差距会被放大。
方案A沿用常规的接口监控:调用量、错误率、响应延迟、限流与重试。
方案B则需要任务级的可观测:按任务标识串联每一步的模型调用与工具执行,记录耗时与资源占用;对卡死或循环的任务设置强制终止;对模型更新做好版本锁定与回归测试,因为提示词对模型变化敏感,底层模型升级可能改变既有任务的表现。
| 对比维度 | 方案A:单轮调用 | 方案B:长任务智能体 |
|---|---|---|
| 输入与输出 | 提示词进、文本或结构化结果出 | 任务目标进、可运行的产物出 |
| 任务时长 | 秒级,同步调用为主 | 分钟到小时级,异步作业 |
| 状态管理 | 无状态 | 需持久化状态,支持断点续跑 |
| 工具依赖 | 少量函数调用或检索 | 沙箱环境、专业软件、存储与版本控制 |
| 质量验收 | 单次结果校验 | 分阶段检查,辅以自动化测试与人工评审 |
| 核心安全风险 | 提示词注入、数据泄露、滥用 | 任意代码执行、权限越界、数据破坏 |
| 成本构成 | 调用次数与文本量 | 推理开销、沙箱算力、渲染与存储 |
| 运维重点 | 调用监控、限流、缓存 | 任务追踪、资源配额、超时终止、回归测试 |
| 接入复杂度 | 低,常规HTTP调用 | 高,需要编排、隔离与产物管理 |
| 典型产物 | 问答、摘要、代码片段、文案 | 桌面应用、三维场景与模型、宣传视频、游戏流程 |
优先选择方案A的场景
适合引入方案B的场景
慎用或暂不建议的场景
1. 看任务是否需要“动手”:如果一份足够好的文本就是交付物,方案A的投入产出比通常更高;如果需要打开软件、运行代码、生成模型文件或视频,才有必要引入方案B。
2. 看可验证性:产物能自动检查,如编译、测试、渲染、文件结构校验,方案B的自主循环才有可靠落点。缺少校验手段时,宁可降级为“模型生成 + 人工审核”,也不要让模型无限自动循环。
3. 看团队工程成熟度:方案B意味着异步任务系统、沙箱隔离、状态持久化与任务级监控。在尚未具备这些基础能力的团队中,可先用少量低风险任务试点,并优先选择托管化程度更高的运行方式,减少自建环境的负担。云上通常可按需提供容器服务、对象存储、日志服务、监控告警等基础能力,用于承载智能体运行与产物管理。
4. 看并发与成本约束:方案A更容易做水平扩展、缓存与限流,适合高并发;方案B更适合低频、高价值的任务,并应设置单任务步数、时长与费用上限。
5. 看合规边界:数据敏感度高、网络隔离严格、审计要求高的场景,应优先采用私有化或专属资源部署形态,方案B原则上在隔离沙箱中运行。
6. 两者可以组合:同一业务里完全可以“A为主、B为辅”,即用方案A处理高频轻任务,把方案B放在原型验证和素材生产环节。在百度智能云等平台上,可通过模型服务、内容生成、对象存储、容器平台、日志服务、监控告警等通用云产品能力组合搭建,不必在两者间二选一。
从方案A扩展到方案B,或在两种模式之间切换,需要关注以下几点:
新一代大模型的首批测试表明,“一次请求交付一个完整产物”正成为可行选项。但能否落地,取决于把任务放进正确的使用模式。
方案A胜在简单、可控、易扩展,适合高并发和文本类工作;方案B胜在能调用工具、持续执行、交付可用产物,代价是运行环境、状态管理、安全防护与运维体系都要跟上。选择的关键不在于哪种模式更先进,而在于任务是否需要“动手”、产物能否“验证”、团队能否“管住”。对多数团队而言,务实的路径是先以方案A覆盖高频业务,再在隔离沙箱中,以明确验收标准的低风险任务试点方案B,逐步沉淀自己的任务模板、校验规则与运维经验。