简介:新一代通用大模型把“看屏幕、点界面”推到核心能力位置后,工程团队真正要判断的并不是跑分高低,而是GUI操作型智能体与API调用型智能体之间的路线差异。本文从技术架构、接入改造成本、稳定性、安全与审计、可观测性、成本结构、使用边界等维度系统对比这两类方案,并给出条件化选型建议与迁移注意事项,帮助技术负责人和架构师快速判断哪条路线更适合自己。
过去一年,通用大模型的能力重心从“把话说明白”转向“把事做完”。新一代模型发布时,厂商的宣传重点往往落在“屏幕理解”“真机任务完成率”“终端任务完成”这类指标上:某类屏显定位基准从上代的约 77% 提升到约 93%,某类真机任务完成率基准从约 66% 提升到约 73%,完成同一批任务所需的平均时长从约 75 分钟压缩到约 40 分钟。这些数字说明的是同一个趋势——模型开始具备“看得懂界面、点得准控件、在真实环境里跑完多步流程”的基础能力。
但要注意两点。第一,这些是厂商自述口径,评测环境是受控的、任务集是公开的,和你自己内网里那些十年没人维护的系统完全不是一回事。第二,当“操作界面”这件事在工程上变得可行之后,它不再只是一个模型问题,而变成一个架构问题:在系统之间传递意图、执行动作、校验结果,应该走图形界面,还是走结构化接口?
这就是本文的对比对象:
先说共同点,因为这部分决定了你在两条路线上写的大部分代码是可以复用的。
换句话说,选 A 还是选 B,改的不是智能体的整体架构,而是动作层的实现与治理方式。
GUI 路线的执行环境是一个完整可控的运行环境:需要有屏幕(物理机或虚拟显示)、有已登录状态的会话、有目标客户端、有输入注入通道,还要有对窗口焦点、分辨率、DPI、输入法状态的管理。它的优点是边界清楚——只要界面能打开,任务就有入口;它的代价是这个环境本身成为有状态、有成本、需要治理的“重资产”。
API 路线的执行环境是编排层:一个网关、一组鉴权凭据、一套超时与重试策略、一套幂等键管理。它是无状态的、可横向扩容的、可以用容器平台秒级拉起成千上万个并行任务的。它的边界受制于一件事:接口是否存在。
这里有个容易被忽略的事实差异:GUI 路线的接口覆盖率高但契约弱,界面对你没有任何承诺;API 路线的接口覆盖率取决于系统年龄,但契约强、语义明确、有类型与错误码。
现实企业系统里,很大一部分能力只能靠 GUI 触达:二十年前写的内部管理系统、没有文档的内部工具、桌面客户端、老旧的政企内网应用、带图形专有界面的专业软件、以及只存在“某个按钮”这种形态的一次性流程。对这些目标,API 路线不是慢,而是根本不可达。
反过来,凡是存在稳定接口的场景——数据查询、订单状态回写、工单流转、消息推送、文件读写、审批发起——API 路线在正确性和效率上都有结构性优势,因为它们不需要“识别”和“定位”,出错面小得多。
GUI 路线的接入成本主要花在环境上,而不是花在改造目标系统上:你不需要目标系统开放任何接口,但你需要为每个目标系统准备好账号、登录态、稳定的运行环境和视觉/控件稳定性验证。它对目标系统的侵入性接近零,这对无法改动的遗留系统是决定性的优势。
API 路线的接入成本主要花在适配层上:为每个能力写一层封装、做参数校验、处理分页与限流、映射错误码。改造成本前置且集中,但一旦写完,边际调用成本极低。
GUI 路线的失败是渐变且难以复现的:某个弹窗今天有明天没有、加载动画慢了两秒导致点击落空、控件文案做了国际化改造、分辨率变化导致坐标漂移、页面重构后按钮换了位置。它的稳定性上限受视觉与控件识别的可靠性约束,且偶发失败会随步数增加而成倍累积——十步任务里每步 97% 的准确率,端到端只有约 74%。这就是为什么官方数据里“完成率”和“平均耗时”要一起看:耗时下降同样重要,因为长时任务既是失败概率的乘数,也是环境与算力成本的乘数。
API 路线的失败是离散且可诊断的:4xx 说明参数或权限问题,5xx 说明下游不可用,超时说明需要重试或降级。错误分类清晰,重试与幂等可控,端到端稳定性可以通过工程手段推到很高。
GUI 路线的风险点集中在三处:一是凭证暴露——智能体必须持有一个真实登录态,这比持有一个受限的 API Token 风险大得多;二是动作不可预声明——你很难事先穷举它可能点到的按钮,误操作(提交、删除、支付)的边界比接口调用宽;三是审计困难——必须依赖会话录制、截图留存和界面脱敏,而不是干净的结构化日志。
API 路线的安全模型成熟得多:最小权限 Scope、调用方身份认证、字段级授权、结构化审计日志、参数白名单、敏感字段脱敏,都是可以标准化落地的。凡是涉及资金、账务、个人信息的高敏流程,这一条差异通常就足以定调。
GUI 路线需要盯的是环境与视觉稳定性:会话是否掉线、控件树是否可解析、平均步数、失败时最后一张截图。日志服务里存的是“带画面的过程记录”,检索与告警都比结构化日志更笨重。可观测能力更多要依托容器平台、日志服务、监控告警、对象存储这类通用云上能力组合来搭,例如把过程截图与录像归档到对象存储、把步骤耗时与成功率上报到监控告警、把凭据收敛到密钥管理里。国内云平台的通用能力大体也都落在这几类上,百度智能云等平台的同类基础能力也在此列,选型时可以按这几类能力是否齐备来横向比较,而不是看单一功能点。
API 路线的运维是常规服务治理:链路追踪、调用量与时延分布、错误码聚合、限流熔断,工具链成熟、告警精准。
所以成本判断不能只看单价,要看任务量 × 单次耗时 × 失败重试系数这三个乘数。
| 维度 | GUI 操作型智能体 | API 调用型智能体 |
|---|---|---|
| 能力可达范围 | 广,凡是能打开界面即可 | 受限于已有接口 |
| 目标系统侵入性 | 极低,无需改造 | 需要接口或适配层 |
| 接口契约强度 | 弱,界面无承诺 | 强,有类型与错误码 |
| 接入成本分布 | 环境成本高,开发成本低 | 开发成本高,环境成本低 |
| 失败模式 | 渐变、偶发、难复现 | 离散、可分类、可重试 |
| 端到端稳定性 | 受步数与识别率影响 | 可通过工程手段推高 |
| 安全模型 | 凭证重、动作边界宽、审计难 | 最小权限、结构化审计成熟 |
| 并行扩展 | 受图形环境资源约束 | 天然易水平扩展 |
| 单次任务耗时 | 较长 | 较短 |
| 适用对象 | 遗留系统、桌面端、无接口流程 | 有接口的常规业务系统 |
正确的做法通常不是二选一,而是统一动作层、按目标系统选择后端。
# 统一任务接口:上层只关心“完成什么”,不关心“怎么完成”class TaskBackend:def execute(self, task: Task) -> Result: ...# 后端一:接口优先,带幂等与重试class ApiBackend(TaskBackend):def execute(self, task):for attempt in range(3):resp = gateway.call(task.op, task.params,timeout=2, idem_key=task.idem_key)if resp.code == 0:return assert_state(task.postcondition)if not resp.retryable:breakreturn escalate_to_human(task, reason=resp.code)# 后端二:界面优先,带护栏与人工接管class GuiBackend(TaskBackend):def execute(self, task):for step in range(MAX_STEPS):state = capture(task.session) # 截图 + 控件树if verify(task.postcondition, state):return ok(task)if state.has_blocking_dialog(): # 验证码、风控、二次确认return escalate_to_human(task, state)act = model.plan(task.goal, state) # 点击/输入/滚动/等待apply(act, session=task.session) # 需幂等保护return fail(task, reason="step_budget_exceeded")
路由策略上更实用的判断顺序是:先查有没有接口 → 没有接口再判断该流程是否值得稳定化 → 值得则考虑推动接口建设、暂时不具备条件时用 GUI 兜底 → 高敏不可逆动作无论哪条路线都强制人工确认。
| 业务场景 | 更合适的路线 | 理由 |
|---|---|---|
| 内部老管理系统批量数据搬运、跨系统字段对照 | GUI | 无接口可改,改造周期不可控 |
| 桌面客户端/专业软件的配置与导出 | GUI | 交互能力只存在于界面 |
| 一次性、低频、流程可容忍偶发失败 | GUI | 不值得为它做接口建设 |
| 订单查询、工单流转、审批发起、消息推送 | API | 契约明确,需要高可靠与高并发 |
| 资金、账务、支付、删除类不可逆动作 | 优先 API,界面兜底须加确认 | 需要最小权限与结构化审计 |
| 高并发、峰值弹性明显的批量作业 | API | 无状态易水平扩展 |
| 混合流程(系统 A 无接口、系统 B 有接口) | 分层混合 | 接口段用 A 后端,遗留段用 GUI 后端 |
回到“如何看待新一代模型”这个问题:屏显理解与真机任务完成率的提升,工程意义是扩大了智能体的能力可达边界,把原本必须人工操作的遗留系统和桌面软件纳入了可自动化范围,同时通过缩短单任务时长降低了单位任务成本。但它并不改变一条更根本的工程原则——能走结构化接口就别走界面,界面是无接口系统里的兜底通道,而不是首选通道。
因此,选型的核心不是判断哪条路线“更先进”,而是回答三个条件化的问题:目标系统有没有稳定接口?动作可逆还是不可逆、敏感度多高?任务量是否大到需要极致单位成本?答案会自然把架构导向 GUI 优先、API 优先,或以统一动作层为骨架、按系统能力分布做分层的混合方案。同时无论选哪条,自建内部评测集、动作护栏、结构化审计和人工接管机制,都是把演示级能力转化为生产级能力时不可省略的部分。