简介:本文围绕某研究团队提出的原生多模态智能体方案(方案A),对比“纯文本大模型+外挂视觉模块”拼接方案(方案B)。文章从技术架构、信息保真度、功能覆盖、接入改造、性能稳定性、安全合规、运维与成本八个维度剖析差异,附对比表格、示意性代码与场景化选型建议。帮助架构师和技术负责人判断何时原生、何时拼接、何时混合,并提前识别迁移风险。
翻开多数企业的需求清单,真正棘手的任务很少以结构化文本的形式出现:产品给的是设计稿,客户发的是报错截图,财务给的是扫描件,测试反馈的是一段操作录屏。这些信息在落地时都是像素,而不是规整的字段。更麻烦的是,不少任务的目标本身就发生在界面上,比如“把这个页面还原成可维护的前端代码”“在手机上完成一次完整的下单流程”。终点与起点都在屏幕里,中间却要绕一圈文本。
主流纯文本大模型在推理、代码生成和指令遵循上已经相当成熟,但它们原生的输入是 token 序列。要让它们“看见”,常见做法是外接独立的视觉模块,如OCR、版面分析、图像描述和目标检测,把图像转成文字再交给模型,即“视觉外挂”思路。
某研究团队与高校联合提出的 GLM-5V-Turbo(下称方案A,代表“原生多模态智能体方案”一类技术路线),针对的正是这种做法的局限:它不只是在语言模型上接一枚视觉编码器,而是从架构、训练到工具链,把图像、视频、文本统一进“感知—推理—执行”的闭环,让视觉成为模型的原生能力。原始材料称其在这类评测中表现突出:
同时,其纯文本编码能力也保持在较好水平。
另一个常被忽略的事实是:外挂视觉并不等于便宜、简单。独立OCR服务、检测模型、描述模型和推理服务的维护成本,往往被“只调文本模型”的直观印象掩盖。
因此本文要回答三个问题:
为避免歧义,本文将方案B进一步细分为两种常见形态:
方案A的核心特征可以归纳为三点。
统一建模。 图像、视频帧与文本在同一模型内联合表征、联合训练,而不是由两个独立系统“交接”。
感知直接驱动推理。 模型依据原始视觉信号判断控件位置、层级与样式,推理结论直接落在它“看到”的对象上,中间不经过有损的文本转述。
感知—推理—执行闭环。 模型在移动端任务中需要根据屏幕状态决定点击、滑动还是输入,并依据执行后的新画面调整下一步。感知、决策、执行被组织成一个可持续迭代的循环。
原始材料中的能力侧重也很有代表性:界面还原与移动端操作 both 指向“屏幕即任务现场”的场景。
方案B把视觉能力当作前置数据管线,核心推理仍由纯文本模型完成。它又可分为两种形态:
两者共同的设计哲学是解耦:用成熟的专用视觉组件解决感知,用成熟的文本模型解决推理,由编排层负责衔接。
方案B也有代表性表现。例如,让纯文本模型直接根据截图生成前端代码(B1思路),或与“按需调用视觉工具”(B2思路)相比,前者在某开源界面前端设计基准的榜单上得分高出数十个百分点。也有研究将纯文本模型的工具调用与专门的移动端GUI操作智能体(同属B2思路)系统对比,发现二者擅长的任务类型并不相同。这类结果说明:选型的关键不在组件多少,而在信息以什么形态流入推理环节。
任务目标一致。 把视觉信号转化为可交付的结果,包括可运行的代码、结构化数据和界面上的操作动作。
输入输出形态高度重叠。 输入都可能是截图、设计稿、文档扫描件、PDF或视频帧;输出都可能是代码、JSON、操作序列或自然语言结论。业务侧的接口协议与结果校验逻辑可以大量复用。
依赖相同的通用工程能力。 结构化输出约束、函数调用协议、长上下文处理、并发与限流、超时重试、提示注入防护,两类方案都离不开。
都能以服务化方式接入业务。 无论模型在哪里运行,以API形式调用还是嵌入业务系统,都要考虑延迟、吞吐与弹性;在百度智能云等云平台上,也都可以借助负载均衡、容器平台、对象存储、日志服务、监控告警、身份认证等通用能力承载。
评测方式可以统一。 界面还原类评测关注生成代码与参考实现的视觉一致性、功能可用性和代码质量;移动端操作类评测关注多步任务的完成率、步数与鲁棒性。同一套评测方法可以用于横向比较两类方案。
方案A可以抽象为:
[屏幕/图像/视频帧] ─┐[文本指令] ─┼─→ 单一模型(统一感知+推理)─→ 代码 / 结构化结果 / 界面操作[执行环境反馈] ─┘ │↑←───────────────── 闭环:依据新画面调整下一步 ←─┘
方案B(B1)则是:
[图像] ─→ 视觉前端(OCR/版面/检测/描述)─→ 中间文本 ─→ 纯文本模型 ─→ 结果
方案B(B2)为:
[文本/多模态模型] ⇄ 工具层(放大识别、结构树解析、点击/滑动)⇄ 运行环境
架构差异决定系统边界。
在工具链层面,方案A通常伴随一体化的数据采集、训练与评测体系,视觉数据从采集到回流形成统一链路。方案B的工具链分散在各组件生态中,集成灵活,版本却需要逐一管理。
这是两类方案最本质的区别。
在B1中,图像被压缩成一段文本,丢失的往往恰恰是关键细节:
下游模型只能基于转述推理,上游识别错误会被当作事实继续放大,这正是外挂思路下视觉幻觉的高发环节。
方案A直接以视觉信号为输入,在像素层面保留上述细节。但原生视觉并非没有幻觉:它可能误判元素状态、误读细粒度文字,或在密集视图中混淆相似组件。区别在性质:方案B的错误主要来自“转述失真”,可以通过改进中间表示来缓解;方案A的错误来自“视觉理解偏差”,需要通过训练数据、约束校验和执行反馈来收敛。
对于B2,信息保真取决于“看什么、看多清”。按需放大或解析结构树可以缓解分辨率不足,但模型“没想到要看”的地方依然可能漏看。
| 任务类型 | 方案A | 方案B(B1/B2) | 差异来源 |
|---|---|---|---|
| 设计稿/截图还原为前端代码 | 直接读取布局与样式,空间关系保持较好 | B1依赖中间描述完整度;B2在复杂页面上调用轮次增多 | 视觉细节是否在推理前被文本化 |
| 移动端多步操作 | 每步基于当前屏幕决策,可自适应页面变化 | B1只适合步骤固定的任务;B2效果取决于工具粒度与决策策略 | 是否具备“看—做—再看”的执行闭环 |
| 文档/表格/票据信息抽取 | 可直接理解版式 | 版式稳定时,专用模型+规则更可控 | 任务是否高度结构化 |
| 视频/长时序理解 | 帧级统一理解 | 依赖抽帧策略或视频描述模型 | 时序信息是否保留 |
| 纯文本代码与文本任务 | 需重点验证文本能力未被稀释 | 直接复用成熟文本模型能力 | 多模态训练是否影响语言表征 |
| 可解释性与过程审计 | 决策集中在模型内部 | 中间结果天然留存,便于追溯 | 系统是否存在显式中间层 |
需要特别指出,方案A在保持纯文本能力上下了功夫。这回应了一个常见担忧:多模态联合训练可能削弱语言与代码能力。在不少团队中,文本任务仍占多数,模型升级后文本能力是否回退,是必须实测的项。
方案B改造成本呈两极:业务逻辑基本不变,但技术栈变长。方案A业务改造量小,工程准备量却不低。示意性代码如下:
# 方案B(B1):图像先转文本,再交给纯文本模型def restore_ui_b1(image):blocks = ocr_and_layout(image) # 文字、位置、层级desc = describe_image(image) # 整体视觉描述prompt = build_prompt(blocks, desc) # 组装中间表示code = text_model.generate(prompt) # 纯文本推理return code# 方案B(B2):模型按需调用视觉工具def run_b2(image, goal):messages = [{"role": "user", "content": goal}]for _ in range(MAX_STEPS):resp = agent_model.chat(messages, tools=[zoom_ocr, parse_view_tree, tap, swipe])if resp.action in VISION_TOOLS:messages.append(run_vision_tool(resp.action, image)) # 结果回流else:messages.append(run_ui_action(resp.action))if resp.done:breakreturn messages# 方案A:视觉与指令同一上下文,感知—推理—执行闭环def run_native_a(image, goal, env):messages = [{"role": "system", "content": SYSTEM_PROMPT},{"role": "user", "content": [{"type": "image", "data": image},{"type": "text", "text": goal}]},]for step in range(MAX_STEPS):resp = model.generate(messages) # 单一模型输出代码或操作result = env.execute(resp) # 渲染页面 / 在界面执行动作messages.append({"role": "assistant", "content": resp})messages.append({"role": "user", "content": capture_feedback(result)})if env.is_goal_reached(result):breakreturn messages
可以看出,方案A把原本分散在OCR、编排、文本模型中的逻辑收敛进一个调用。但“简单”只是表面,真正的工作量转移到了:
此外还需要为失败分支设计兜底流程。
性能需要区分“端到端体验”和“系统可控性”两个视角。
延迟构成。 方案B1串行调用视觉前端与文本模型,端到端延迟是各段之和,还要加上编排开销;视觉前端自身也有处理时间。方案A省去组件间往返,但在高分辨率图像或视频帧场景下,视觉信息编码为大量token会显著增加首字延时和整体推理耗时。移动端任务中“每步一截图”带来的上下文增长同样不可忽视。
吞吐与弹性。 方案B1可以独立扩缩容各组件,例如识别量激增时只扩容视觉前端。方案A的容量规划以单一模型推理服务为中心,扩容方式相对直接,但单次请求的算力占用更高。
稳定性。 方案A的组件少、故障点集中,模型服务异常时缺少旁路。方案B允许分段降级,例如OCR超时先返回低置信结果并标注待复核;但组件越多,某一环的超时、限流或输出格式漂移越容易引发链式失败。
原始材料中的94.8分与75.7分来自受控评测,能说明能力上限,却不能直接等同于生产环境下的SLA表现。真实业务的页面多样性、长尾布局和并发水平,往往比评测集复杂得多。
运维复杂度。 方案B需要监控多个组件的调用量、错误率与处理耗时,版本升级要逐一回归。方案A组件收敛,但模型升级可能同时改变视觉理解与代码生成行为,需要覆盖视觉与文本两类任务的统一回归集。
成本结构(仅做结构性分析,不涉及具体价格):
| 对比维度 | 方案A:原生多模态智能体 | 方案B:文本模型+外挂视觉 |
|---|---|---|
| 典型架构 | 单模型统一感知与推理,感知—推理—执行闭环 | B1级联管线;B2模型按需调用视觉工具 |
| 视觉信息处理 | 直接处理原始图像/视频帧 | 先转为文本或结构化结果,再进入推理 |
| 信息保真度 | 保留坐标、层级、样式与时序细节 | 取决于中间表示,细节易丢失 |
| 主要幻觉来源 | 视觉理解偏差 | 转述失真与误差传播(B1)、漏看与误用工具(B2) |
| 擅长任务 | 设计稿/截图转代码、移动端多步操作、视频理解 | 版式稳定的文档抽取、流程固定的任务、纯文本任务 |
| 接入改造成本 | 调用方式简单,图像编码、上下文管理、沙箱准备量大 | 编排与多组件集成工作量大,业务逻辑改动相对小 |
| 延迟与吞吐 | 组件间往返少;图像/视频token推高推理开销 | 可分段扩缩容;端到端延迟为各段之和 |
| 故障处理 | 组件少但故障集中,缺少旁路 | 可分段降级,组件多则链式风险高 |
| 安全与审计 | 数据出域面大,需主动补齐过程日志 | 中间结果天然可审计,B2需防提示注入 |
| 运维与升级 | 统一回归,模型升级影响面广 | 组件分散,逐组件维护与回归 |
| 使用边界 | 轻量文本场景可能“用力过猛”,对推理算力要求较高 | 高精度空间推理场景受中间表示上限约束 |
选型前建议先回答以下问题:
可以概括为几条条件化建议:
混合架构往往更稳健:以原生模型作为主链路,在关键节点设置程序化校验,例如生成页面的渲染比对、操作执行前后的状态断言,必要时触发人工复核。
选型结论也不应停留在主观判断,建议用自建的小规模评测集同时验证两类方案,覆盖典型页面、长尾场景和失败案例,再比较任务完成率、人工介入率与单位任务成本。
从方案B转向方案A,或者反过来做回退准备,需要重点关注以下方面。
接口与数据格式
评测与灰度
权限与执行安全
稳定性与降级
成本与容量
合规与审计
回到开篇的问题:方案A与方案B的区别,不在“是否支持图像”,而在视觉信号以什么形态进入推理环节。
对多数团队而言,务实的路径往往不是二选一,而是按任务特征分层:视觉决定质量且需要执行反馈的任务交给原生方案,结构化、规则化的任务保留成熟管线,并以统一的评测体系、过程审计与降级机制把两条路线纳入同一套工程治理框架。