简介:桌面智能体常被理解为仅靠截图像素即可操作任意软件。本文对比纯像素视觉方案与“无障碍控件树+截图校验”混合方案,从架构、成本、稳定性与选型边界说明差异,帮助研发避免把营销话术当成实现路径。
桌面级智能体(Computer Use)的宣传口径,往往被概括成一句话:不必解析系统内部信息,仅凭屏幕截图像素,模型就能理解任意界面并完成点击、输入与多步任务。许多团队据此把“纯像素 GUI 大模型”当成必须对标的技术路线。
可从可观测行为、调用成本与工程实现来看,真正支撑稳定操控的,经常不是原始像素本身,而是操作系统提供的无障碍(Accessibility)控件结构化树,截图更多承担校验与兜底。本文对比两类路线:方案A:纯像素视觉理解与操作,方案B:操作系统结构化元数据为主、截图为辅的混合输入。目标是帮助架构师与研发判断该把算力与工程投入放在哪条路径上,而不是被对外叙事带偏靶心。
方案A(纯像素):以屏幕截图为主要甚至唯一输入,由多模态模型完成界面理解、元素定位与动作规划,再通过坐标点击、键盘输入执行。优点是理论上不依赖应用是否暴露控件树,对自定义绘制、游戏化界面更“通吃”;代价是定位噪声大、多步任务易漂移、Token 与延迟成本高。
方案B(结构化控件+截图):主输入为操作系统无障碍接口导出的控件树(角色、名称、边界、状态、层级关系),模型在语义明确的节点上规划动作;截图用于一致性校验、异常兜底(例如树缺失、自定义绘制、遮挡)。这不是“绝密黑科技”,而是桌面自动化领域长期存在的工程范式:先拿高质量结构化信号,再用视觉补全盲区。
两者都指向同一产品目标:让智能体在真实桌面上完成多步任务。差异在于信息源优先级与失败模式。
方案A把像素当作一等公民:理解、定位、校验都挤在视觉通道。分辨率、缩放、主题、抗锯齿都会改变特征,模型必须反复“看图说话”。
方案B把控件树当作一等公民:节点 ID/路径、角色(按钮/输入框/菜单)、可见文本、enabled/checked、bbox 已是离散符号。模型推理更接近“在结构化文档上做选择”,截图只在树不可信时介入。系统边界也不同:方案B强依赖操作系统无障碍权限与应用实现质量;方案A更依赖视觉模型能力与截图频率。
纯像素在“任意绘制界面”上覆盖面更宽,但元素定位是回归问题,微小偏移会导致点错。多步任务中误差累积明显:点错一次,后续截图全是错误状态。
结构化树把定位变成分类/检索:按名称与角色选节点,再映射为点击中心点。对标准桌面应用(办公、浏览器、系统设置)稳定性通常更高。树缺失时,方案B应降级到截图,而不是假装树永远完整——这正是混合范式的意义。
纯像素每次决策都要上传高分辨率图像,上下文随步数线性膨胀,账单与延迟会迅速成为产品瓶颈。真实使用中,用户往往首先被用量打醒,而不是被“看懂任意软件”的叙事说服。
方案B主路径是文本/JSON 树,体积远小于图;截图按需、低频。算力可更多用于规划与工具调用,而不是反复编码整屏。国内若把海量资源砸在“纯像素对标”,而忽略系统已提供的结构化信号,属于靶心偏移:难度陡增,却不一定换来可上线的稳定性。
方案A对无障碍权限依赖弱,但截图可能包含敏感信息,需脱敏、局部截取、审计。方案B需要无障碍授权,控件文本同样可能含隐私,且权限提升带来攻击面,必须最小权限、会话隔离、操作确认。
合规上两者都要记录“看了什么、点了什么”。方案B审计更易对齐到控件语义(点了哪个按钮),方案A更多是坐标轨迹,事后解释成本更高。
纯像素对分辨率、多显示器、DPI、夜间模式更敏感,需要大量视觉回归。混合方案要对不同操作系统无障碍 API 的差异、应用树质量做兼容测试,并维护“树失败→视觉兜底”的策略。
不适合纯像素硬刚的场景:长流程表单、精细表格单元格、小图标密集工具栏。不适合只靠树的场景:自绘引擎、远程桌面二次图像、无障碍残缺的老软件。生产系统更常见的是默认树、失败切图,而不是二选一信仰。
| 维度 | 方案A 纯像素 | 方案B 控件树为主+截图辅助 |
|---|---|---|
| 主输入 | 屏幕截图像素 | 无障碍结构化树 |
| 定位方式 | 视觉回归/坐标 | 节点选择再映射点击 |
| Token/延迟 | 图像为主,成本高 | 文本树为主,图按需 |
| 标准桌面应用 | 可用但不稳 | 通常更稳 |
| 自绘/游戏化界面 | 相对更通 | 必须视觉兜底 |
| 权限依赖 | 截图权限 | 无障碍+截图 |
| 审计可解释性 | 坐标轨迹 | 控件语义更清晰 |
| 研发靶心风险 | 易被叙事带偏为唯一路线 | 需处理树质量与降级 |
百度智能云等云平台侧,更适合提供的是隔离执行环境、日志审计、对象存储存证、监控告警与身份权限,而不是替代对信息源的判断。智能体能不能稳,首先取决于输入是树还是图,其次才是模型版本号。
若应用无障碍实现完整、任务以标准控件为主、对成本与成功率敏感,应以方案B为默认架构。若目标界面大量自绘、无法授权无障碍、或必须跨“图像进图像出”的远程场景,应加强视觉模型,但仍保留混合降级,而不是宣传成“只靠像素”。
不要把“模型基座原生能力”与“云主机、订阅、插件市场、账号对接”混为一谈。后者是产品层;前者要看执行框架是否把控件树、截图、动作原语做成一等公民。提示词和外部脚本很难稳定模拟这些约束,模型会无视人为格式——这是工程问题,不是口号问题。
从纯像素迁到混合:补齐无障碍采集、树压缩(去不可见节点、限深)、节点到坐标的映射、树与截图时间对齐,以及树失败检测(空树、与截图bbox不一致)。从混合迁到更强视觉:不要拆掉树,只扩大兜底比例。
风险包括:权限弹窗阻断无人值守、DPI导致bbox与点击不一致、动态列表虚拟化导致树与所见不符、敏感截图入日志。测试应用例应覆盖多DPI、多主题、权限拒绝与控件缺失,而不是只跑演示脚本。
行业舆论容易把整机操作能力写成“原生像素理解的突破”。交叉来看,更常见的主路径是操作系统结构化元数据,截图是辅助校验。开源与工程实践早已验证这套混合范式;若把营销话术当成内部实现,放弃唾手可得的控件信号、全力强攻纯像素,会导致对标靶心偏移、成本上升而稳定性未必提升。
选型应回到信息源:标准控件用树,难例用图,执行层把两者接好。云资源与模型很重要,但替代不了对架构的诚实评估。