简介:本文从架构、感知定位、任务闭环、时延与运维成本等维度,对比上一代屏幕理解方案与新一代电脑操作智能体,帮助开发者判断何时升级、如何评估完成率与风险,并给出条件化选型与迁移注意点。
企业把大模型接入办公系统时,常见两条路径:一条仍以文本对话、代码补全、接口调用为主;另一条要求模型直接“看屏幕、点控件、填表单、跨应用流转”。后者被称为电脑操作智能体(Computer-use Agent)。随着图形界面自动化需求从演示走向生产,团队需要回答:新一代操作模型相对上一代屏幕理解方案,到底强在何处、哪些指标可复用、哪些场景仍应保守上线。
本文对比对象明确为两类通用技术方案:
下文不绑定任何具体厂商产品名,只讨论能力代际差异与选型条件。
方案A解决的问题是:给定一张屏幕截图或一段操作说明,模型能否识别按钮、输入框、菜单,并给出相对准确的点击坐标或控件描述。它通常依赖视觉编码器 + 指令跟随,输出短序列动作。适用“人在环”:模型建议,人确认。
方案B解决的问题是:把智能体放入完整操作系统会话,要求其持续观察界面变化、规划下一步、填写复杂表单、在应用间切换,直到任务完成或明确失败。它不仅要“点得准”,还要“干得完、干得快、可恢复”。
两者都服务图形界面自动化,但系统边界不同:方案A多止于感知与单步/少步动作;方案B覆盖规划、执行、校验、回退的完整闭环。
相同点说明:升级不是推翻视觉底座,而是把“看懂”扩展为“做完”。
方案A常见流水线:截图 → 视觉问答/定位 → 输出坐标或选择器 → 由外部脚本执行一次点击。状态多在编排层,模型无长程记忆。
方案B常见闭环:观察 → 规划 → 动作 → 再观察。内部维护任务目标、已完成步骤、当前窗口与异常假设。系统边界从“单次推理”扩展到“会话级智能体运行时”,需要超时、步数上限、危险操作拦截。
| 维度 | 方案A(上一代) | 方案B(新一代) |
|---|---|---|
| 定位精度 | 能点常见控件,复杂密集界面易偏 | 强调细粒度屏幕定位,减少点错相邻元素 |
| 任务完成 | 适合短流程,长流程依赖人工接力 | 更强调端到端完成率 |
| 耗时 | 反复确认、回退多,墙钟时间长 | 规划更紧凑,同等任务耗时明显缩短 |
| 异常处理 | 弹窗、验证码、加载失败易卡住 | 更强调重试与路径切换,但仍非万能 |
| 人机协同 | 默认人确认 | 可全自动,但生产仍建议关键步审批 |
公开评测中常见两类指标:一类考“看懂屏幕并点到正确位置”;一类把智能体放入真实桌面让其独立干活。行业实践显示,新一代在定位类评测上准确率可从约七成量级提升到九成附近,在桌面任务完成率上亦有可观提升,且完成同类任务的平均耗时可接近腰斩。这些数字只能作为能力方向参考,不能替代你方界面与权限环境下的复测。
方案A接入轻:截图接口 + 坐标执行器即可试点。改造量小,但编排逻辑散落在业务脚本。
方案B接入重:需要会话隔离的桌面或容器化图形环境、动作白名单、逐步截图回传、任务状态机。开发改造量更大,换来可观测的闭环。
关注点不是单次token吞吐,而是:
新一代通常通过更好的视觉定位与更短规划路径降低墙钟时间,但仍受被操作应用响应速度限制。不得假设“模型更快就等于业务SLA一定达标”。
电脑操作权限接近“远程桌面”。必须评估:
方案B能力越强,误操作半径越大,安全基线应同步加严,而不是因为完成率上升就放开权限。
方案A:推理次数少,失败靠人补,人力成本隐性高。
方案B:会话长、截图多、存储与带宽上升,但单任务人工介入下降。成本要从“模型调用 + 桌面资源 + 人工兜底”整体看,避免只比较单次推理费用。
更适合继续用方案A的场景
更适合评估方案B的场景
两边都要谨慎的场景
示意性伪代码(通用,不含专有工具名):
goal = "在后台完成某张表单提交"state = observe(screenshot)while not done(state) and steps < MAX:action = plan(goal, state) # click | type | scroll | waitif high_risk(action):require_human_approval(action)state = execute_and_observe(action)log(action, state)
上一代方案把能力重心放在“看懂并点到”;新一代电脑操作智能体把重心放在“在真实桌面里把任务做完,并用更短时间收敛”。相同点是视觉感知与安全边界;差异点在闭环架构、完成率、耗时、接入与运维复杂度。选型应基于自有界面的定位误差、任务长度、可回滚性与合规要求,用条件化标准决定是增强人机协同,还是在沙箱内扩大自动闭环。公开分数只能指示方向,上线前必须用业务任务集与审计体系完成验证。