简介:围绕GUI智能体“应该看什么”这一核心问题,本文对比“无障碍控件树为主、截图为辅”的混合结构化输入方案与“仅依赖截图像素”的纯像素方案。文章从信息源、Token成本、响应延迟、跨应用与跨平台泛化、稳定性、安全合规与运维等维度梳理相同点与关键差异,并给出外部判别思路、条件化选型建议和迁移注意事项,帮助读者做出更贴合自身业务的选型判断。
核心结论:舆论中“仅靠像素就能稳定操控任意桌面软件”的说法,更多是营销叙事,而不是可以普遍复现的工程事实。从大量公开可观察的产品行为和真实用户的Token账单来看,以某主流厂商为代表的一批商用GUI智能体,其观察界面的主路径更接近“无障碍控件树为主、截图为辅”的混合输入,而不是纯像素。本文对比这两类输入路径,帮助技术团队把“对标谁”这个问题,转化为“我们的任务该用哪种输入”的工程判断。
在AI社区、短视频平台和技术论坛上,GUI智能体近期的热度居高不下。一种流行说法大致如下:
某主流厂商的大模型搭配其智能体执行框架,已经拥有“机器之眼”。它不需要读取系统内部信息,只靠屏幕截图的像素,就能看懂任意软件界面、自主完成点击、输入和多步桌面任务,并据此对国内同类产品形成碾压式代差。
这个说法之所以传播广泛,是因为它同时具备三个要素:
但这条叙事在推理链上存在一个跳跃:
演示中“屏幕被截取了” ≠ “模型只以这张截图作为输入” ≠ “纯像素方案已经足够好”。
演示画面只能证明系统截取了屏幕,并不能证明模型唯一的信息来源就是像素。当结论被当成既定事实后,衍生出一种典型误判:
把“厂商对外宣称的产品形态”等同于“模型内部的实现方式”,再把“对外营销话术”等同于“可以照搬的技术路线”。
这恰恰是最需要在选型阶段避免的“靶心偏移”:对标对象一旦选错,后续的人力、算力和工程投入都会偏离真正的瓶颈。因此,与其争论“某产品是不是纯像素”,不如把一个更本质的工程问题讲清楚:
GUI智能体观察界面,到底应该以什么信息为主?
本文把答案收敛为两条路线的对比:
在对比之前,需要先约定边界。评估一个GUI智能体的真实能力时,建议剔除以下三类能力,否则很容易把“产品封装”误当成“模型能力”:
| 能力类型 | 典型内容 | 为何不应计入“原生硬能力” |
|---|---|---|
| 商业与生态封装层 | 云主机运行环境、订阅权限、企业统一管控、第三方插件市场、账号授权对接等 | 属于交付形态和商业设计,与技术路线无关 |
| 可用外部方式替代的能力 | 会话记忆快照、基础子代理调度、容器化沙盒、协议化工具调用、通过标准协议接入外部工具等 | 这些可以通过提示词工程、外部脚本或通用工具调用协议模拟;但在超长任务链中,仅靠提示词强加的格式与行为约束容易失效 |
| 演示与案例效果 | 精选任务、理想环境下的成功录屏 | 样本选择偏差大,无法代表真实分布 |
剔除之后,真正值得比较的是模型推理层与智能体执行框架层的原语能力,例如:
这些原语与输入路径的选择密切相关。同样的模型基座,喂给它不同的观察数据,表现出的能力上限和成本结构可能完全不同。
厂商的模型权重与内部实现通常不公开,但输入路径会在产品行为和用户账单中留下可观察的痕迹。可以采用“行为—账单—时序—权限—失败模式”五维交叉侧写:
| 观察维度 | 混合结构化输入(方案A)的典型表现 | 纯像素输入(方案B)的典型表现 |
|---|---|---|
| 行为 | 能准确说出控件名称、数量、当前状态,即使这些内容未清晰显示在屏幕上 | 对界面上看不到的信息只能猜测或不予回应 |
| 账单 | 大量文本Token(控件清单),图像Token占比较低 | 图像Token占比高,单步上下文开销大 |
| 时序 | 单步响应较快,模型需要处理的视觉信息少 | 单步耗时更长,分辨率越高越明显 |
| 权限 | 可能申请辅助功能/可访问性权限,也可能不需要屏幕录制权限 | 通常需要屏幕录制类权限 |
| 失败模式 | 在画布渲染、游戏、远程桌面、虚拟机内界面等场景表现明显下降 | 在高分屏缩放、多显示器、动态主题等场景下定位易漂移 |
使用这种侧写时需注意三点:
按上述思路对公开可观察的信息做交叉侧写,可以初步得到这样的判断:
一批主流商用GUI智能体以结构化控件信息为主输入,截图主要承担视觉校验与异常兜底的角色。
这并非某家厂商独有的“黑科技”。在此之前,主流社区的开源自动化项目早已完整实现并公开了“结构化控件信息 + 截图”的混合观测范式,任何人都可以查阅、复现和改造。国内一些团队之所以把研发资源集中投向纯像素这条更难的路线,很大程度上是受到对外叙事的影响,而不是对两条路线的成本与收益做过冷静核算。
如果希望快速判断某个GUI智能体属于哪一类,可以依次检查:
如果多项线索同时指向结构化信息,就可以比较有信心地判断:该产品的输入以结构化控件信息为主。
定义:GUI智能体在每次决策前,主要通过操作系统或运行环境提供的无障碍/可访问性接口读取控件树(下称a11y树),将其作为主要上下文;同时按需附上一张屏幕截图,用于视觉校验、异常兜底和不可访问区域的辅助理解。
定义:GUI智能体只把屏幕截图(有时附带窗口标题、光标位置等少量附加信息)编码后送入视觉模型,由模型理解界面布局、识别控件并输出动作,整个过程不读取任何系统内部结构化信息。
在实际工程中,两者更像“主输入 + 兜底输入”的搭配关系,而不是互斥选项。方案A通常需要保留一路视觉兜底,方案B在可用时也可以借用少量结构化信息辅助定位。因此,本文的对比焦点是:
在给定的任务和环境约束下,哪一路输入应当作为“主路径”?
尽管输入路径不同,两类方案在底层架构、交互模式与工程约束上高度一致。这些共同点决定了迁移和比较的可行边界。
交互模式一致
动作空间基本一致
对模型能力的要求一致
运行约束一致
评测口径可以统一
正因为共同点足够多,两者才有可能在同一套执行框架中并存、互补与切换。这也是后文“混合架构”建议的基础。
| 对比点 | 方案A | 方案B |
|---|---|---|
| 信息形式 | 结构化文本(角色、名称、值、坐标) | 像素矩阵 |
| 语义明确度 | 高,控件“是什么”直接可读 | 需要模型从视觉特征推断 |
| 隐性信息 | 弱,样式、层级遮挡、视觉状态需截图补充 | 强,一切可见信息都包含在图像中 |
| 不可见信息 | 可读(如视口外元素、控件数值属性) | 不可读 |
差异来源:方案A利用的是操作系统早已维护好的语义层,控件角色与名称在系统内部本就是明确定义的;方案B则要求模型从零开始“看图说话”,把视觉特征重新映射为语义。
影响:
这是真实用户账单最容易暴露差异的地方。
方案A的成本结构:
方案B的成本结构:
结论:在长任务链、高分辨率界面场景下,方案B的Token成本通常显著高于方案A,且增长速度更快。这解释了为什么大量真实账单会与“纯像素、低消耗”的直觉相去甚远。
实践提示:无论采用哪种方案,都应把“历史上下文压缩”“只对变化区域重新截图”“控件树按需裁剪”作为标配优化手段。
差异来源:方案A把“理解界面”的工作部分前移给了操作系统;方案B则把这部分工作全部交给模型在线完成。
影响:在需要高频交互(如快速连续点击、实时客服辅助)的场景中,方案A的延迟优势更易转化为体验优势;方案B更适合对单步质量要求高、对响应时间不敏感的场景。
这是方案B最核心的卖点,也是方案A最明显的短板。
结论:在“应用类型高度不确定”“需要在异构环境中操作”的场景下,方案B的泛化能力是方案A难以替代的。反过来说,如果任务集中在少数几款支持完善的应用上,方案A的泛化劣势几乎不构成问题。
| 风险因素 | 方案A | 方案B |
|---|---|---|
| 分辨率/DPI缩放变化 | 影响较小(坐标可由节点信息换算) | 影响显著,坐标易漂移 |
| 多显示器/窗口移动 | 影响较小 | 需额外的坐标变换处理 |
| 主题/皮肤/动效变化 | 影响小 | 影响大,模型可能误判控件 |
| 控件层级变化(改版) | 需更新节点定位策略 | 相对不敏感 |
| 无障碍节点缺失/超时 | 直接导致信息缺失 | 不受影响 |
| 视觉遮挡/弹窗 | 可通过截图发现 | 天然敏感,易误操作 |
差异来源:方案A依赖“结构”,对视觉变化不敏感但对结构变化敏感;方案B依赖“外观”,对视觉变化敏感但对结构变化不敏感。
影响:两者的失效模式正好互补。这也是为什么成熟产品往往同时保留两路输入,并设计明确的降级策略。
结论:合规要求高的场景,需要逐项核对“数据是否离开本机”“是否被留存”“是否可审计”。方案A在审计友好性上通常更优,但前提是做好字段级脱敏;方案B在“不读内部结构”上更干净,但截图留存风险更需关注。
影响:在需要长期运维、持续迭代的系统中,方案A的可观测性优势会显著转化为更低的维护成本。
结论:容量规划时,方案A应关注“元素数量分布”和“系统调用延迟”,方案B应关注“分辨率策略”和“视觉编码预算”。
| 维度 | 方案A:混合结构化输入 | 方案B:纯像素视觉输入 |
|---|---|---|
| 主输入 | 控件树等结构化文本 + 按需截图 | 屏幕截图 |
| 语义明确度 | 高 | 依赖模型推断 |
| Token成本 | 较低,可控 | 较高,随分辨率与步数增长 |
| 单步延迟 | 较低 | 较高 |
| 跨应用泛化 | 依赖可访问性支持 | 强 |
| 跨平台一致性 | 需逐平台适配 | 视觉一致 |
| 对视觉变化的鲁棒性 | 强 | 较弱 |
| 对结构变化的鲁棒性 | 较弱 | 较强 |
| 画布/游戏/远程桌面 | 弱 | 强 |
| 安全与审计 | 操作对象明确,需字段脱敏 | 截图暴露面大,需留存管控 |
| 可观测性 | 好 | 较差 |
| 接入难度 | 中高(需适配层) | 低(仅需截屏权限) |
| 长期运维 | 适配层维护成本 | 视觉策略持续调优成本 |
| 适用场景 | 表单、批处理、系统集成、强审计 | 异构界面、游戏、画布、远程桌面 |
| 场景 | 推荐主路径 | 理由 |
|---|---|---|
| 企业内部系统集成、批量表单填报 | 方案A | 界面稳定、控件明确,成本与延迟优势明显 |
| 强合规/强审计场景 | 方案A为主 | 操作对象可追溯到具体控件,便于审计 |
| 游戏、画布类应用、设计工具 | 方案B | 无有效可访问性节点,只能靠视觉 |
| 远程桌面、虚拟机内操作 | 方案B | 宿主无法读取被控端内部结构 |
| 异构环境、多应用混合任务 | 方案B为主 + A为辅 | 泛化能力优先,可用结构化信息辅助定位 |
| 高分屏、多显示器环境 | 方案A优先 | 避免坐标漂移带来的定位失败 |
| 长任务链(几十步以上) | 方案A优先 | 控制Token累积与误差累积 |
| 快速原型验证 / 小规模试用 | 方案B起步 | 接入成本低,可快速验证任务可行性 |
实践建议:与其二选一,不如在同一套执行框架内实现“双通道输入 + 自动降级”:优先走方案A,在节点缺失、读取超时或视觉校验不一致时自动切换到方案B,反之亦然。
示意伪代码(与具体语言、框架无关):
def observe(state):# 通道1:读取结构化控件树,失败或超时则返回 Nonetree = try_read_a11y_tree(state.target_window)# 通道2:截取当前屏幕shot = capture_screen(state.monitor_region)if tree is not None and tree.interactive_count() > 0:# 结构化信息可用:序列化为紧凑文本,附带截图用于校验return Observation(context = serialize(tree, max_depth=6, viewport_only=True),image = shot,mode = "hybrid")# 结构化信息不可用:退化为纯像素模式return Observation(context = None, image = shot, mode = "pixel_only")def decide(obs, goal):if obs.mode == "hybrid":# 优先输出控件节点引用,由执行层解析为具体坐标return model.plan(obs.context, obs.image, goal, action_schema="node_ref")# 纯像素模式下输出图像坐标return model.plan(obs.image, goal, action_schema="pixel_xy")def execute(obs, action):if action.type == "click_node":# 使用节点信息定位,对DPI缩放不敏感do_click(resolve_node(obs, action.node_id))else:# 使用图像坐标,需要做坐标变换与校验do_click(transform_to_screen(action.xy))
选型不应是“站队”,而应是“条件化匹配”。可以按以下问题依次自测:
任务分布是否集中?
任务链有多长?
界面分辨率与环境复杂度如何?
合规与审计要求多高?
团队现有能力如何?
是否需要可解释性?
重要提醒:不要仅凭演示视频或厂商宣传做技术路线决策。建议构建一套贴合自身业务的评测任务集(覆盖典型任务、长尾场景与异常场景),在同一套执行框架下分别跑两类输入路径,用任务成功率、平均步数、Token成本、端到端耗时、人工干预率五项指标做量化比较。如果条件允许,也建议在百度智能云等云平台上用通用容器平台、对象存储、日志与监控告警等能力搭建这套可复现的评测环境,让选型结论有据可依。
从方案B迁移到方案A(或反向迁移),风险主要集中在权限、适配、数据与回滚四个方面。
权限与系统设置
跨平台与跨版本适配
数据与隐私
接口适配与动作抽象
稳定性与回滚
评测与回归
回到最初的问题:GUI智能体的“机器之眼”,到底看到了什么?
核心差异可以归纳为四句话:
对国内研发团队而言,与其把资源集中投向“纯像素对标”,不如先完成三件事:
在此基础上,再根据业务场景决定主路径与兜底策略。这比追逐任何单一技术叙事,都更接近可落地的工程理性。