简介:本文对比新一代多模态操作模型与上一代模型在屏幕理解、任务执行、效率等维度的差异,结合屏幕定位与真实桌面任务两类基准测试结果,分析两者的架构演进、能力边界、适用场景与迁移注意事项,帮助开发者和技术负责人客观评估是否升级以及如何平稳切换。
近期,某研究团队发布了新一代大模型(下文称“模型B”),并与上一代模型(下文称“模型A”)形成直接的代际对比。值得注意的是,这次官方宣传的重点并非传统的代码生成能力,而是“操作电脑”的能力:模型可以像人一样看屏幕、识别界面元素、点击按钮、填写表单、操作各类应用。
这类能力通常被称为 GUI Agent(图形界面智能体)或 Computer Use(计算机操作)能力。它的核心意义在于:很多企业存量系统没有开放 API,业务人员日常依赖各类桌面软件和网页后台工作。如果模型能够可靠地理解屏幕并执行操作,就意味着大量“只能人工点一遍”的流程可以被自动化。
对于正在评估是否升级、是否引入这类能力的技术团队来说,核心问题有三个:两代模型到底差在哪?什么场景值得用?切换和使用要注意什么?本文围绕这三点展开。
模型A(上一代):上一代多模态大模型,具备基本的屏幕理解与界面操作能力,能完成看屏、定位、点击等动作,但在复杂界面理解和长任务执行上仍有明显瓶颈,且执行耗时较长。
模型B(新一代):在模型A基础上迭代的版本,官方将其定位为“操作电脑能力显著增强”的模型。它在屏幕元素定位精度上有大幅提升,并在真实桌面环境的端到端任务完成率与执行效率上均有改进。
需要说明的是,两者属于同一技术路线的代际演进,而非两种完全不同的技术方案。因此本文的对比更接近“升级评估”,而不是“方案二选一”。
两代模型在技术逻辑和使用方式上高度一致:
业界常用一类屏幕定位基准(如 ScreenSpot-Pro 类测试)考察模型能否看懂界面并精准点到目标位置。根据公开数据:
| 模型 | 定位准确率 |
|---|---|
| 模型A | 76.9% |
| 模型B | 92.7% |
提升约 16 个百分点,意味着每 100 次点击中,模型A会错约 23 次,模型B只错约 7 次。对于 GUI Agent 而言,定位错误往往导致连锁失败(点错菜单、进错页面、误删内容),因此这一项的改进对整体可用性的杠杆效应非常大。对精度敏感的团队(如财务系统操作、生产环境后台操作),这个差异是升级的关键依据之一。
更接近实际工作的测试是把模型放进一台真实电脑里让它自主完成任务(OSWorld 类基准)。数据显示模型B完成率 72.6%,模型A为 65.7%。
要注意的是,端到端完成率的提升(约 7 个百分点)不如定位精度提升那么显著。这说明瓶颈不只在于“看得准”,还包括长链路任务规划、异常处理、多步状态跟踪等能力。复杂多步任务的自动化,仍不能假设“发布即全自动”,需要保留人工介入机制。
完成同样任务,模型A平均需要 75 分钟,模型B约 40 分钟,耗时接近减半。效率提升可能来自更少的无效操作、更少的重试、更果断的决策路径。对于批量跑任务的场景(如夜间批处理大量表单),这意味着单位时间内可处理的任务量翻倍,也直接影响计算与调用成本。
| 维度 | 模型A | 模型B | 差异来源 |
|---|---|---|---|
| 屏幕定位精度 | 76.9% | 92.7% | 视觉理解与坐标预测能力增强 |
| 真实任务完成率 | 65.7% | 72.6% | 任务规划与异常恢复能力提升 |
| 同任务耗时 | 约75分钟 | 约40分钟 | 决策路径更优、无效操作减少 |
| 架构与接入方式 | 接口调用+执行层 | 相同 | 代际兼容,接入改造小 |
| 风险特征 | 误操作、权限风险 | 同类风险但误操作率降低 | 需同等管控机制 |
这轮代际升级的核心价值在于:屏幕定位精度从约 77% 提升到约 93%,真实任务完成率提升约 7 个百分点,任务耗时接近减半。对于精度敏感和高吞吐的自动化场景,升级收益明确;对于已经稳定运行的简单场景,可以按需渐进升级。无论选择哪一代模型,权限管控、人工确认机制和操作审计都是 GUI Agent 落地的必要配套。技术团队应基于自身任务的复杂度、风险等级和成本预算,通过小规模实测做出决策,而非仅凭跑分数字下结论。