简介:接入更强模型并不能自动保证Agent在生产环境可控。本文对比“只接模型直连”与“模型外层工程缰绳(Harness)”两类落地方式,从执行边界、数据口径、合规、成本与人工介入说明差异与选型条件。
本文对比的是两类把大模型放进业务的方式:一类是强模型直连(把对话或工具调用直接接到最强模型,靠提示词约束行为);另一类是Harness控制底座(在模型外用工程结构规定数据从哪来、什么不能写、每步花多少、何时必须停下来问人)。
原始业务观察集中在投研点评、短剧生成、知识检索三类高价值场景。它们表面故障不同——账单失控、画面或角色一致性反复返工、数字口径错一位导致整页结论作废、生成内容越过合规表述——病根却相近:没有人用代码明确告诉系统边界。决定能否上线的,往往不是底层模型够不够聪明,而是包裹模型的那一层执行循环、上下文组织、工具注册、预算与人工闸门。
强模型直连解决的是“尽快做出能对话、能调用工具的演示”。典型形态是:用户目标进入提示词,模型自行规划步骤、选择工具、根据报错改写后重试,直到它自己认为完成。优点是接入快、演示效果强;风险是停止条件、花费上限、事实来源和禁止表述都主要依赖模型自觉。
Harness解决的是“同一模型在真实业务里可重复、可审计、可止损”。它不替代模型推理,而是规定:执行循环怎么转、上下文如何裁剪才不膨胀、工具如何注册与鉴权、每一步的时间与费用如何计量、何种状态必须升级给人。同一个模型放进不同Harness,专业度、可靠性和成本可以差出一个数量级,差别来自约束是否可执行,而不是口号是否写进提示词。
直连方案的系统边界模糊:规划、执行、重试、验收往往在同一次模型循环里完成,模型既是运动员又是裁判。Harness把循环拆开,例如“规划—取数—生成—校验—发布/拒绝”,每段有明确输入输出和失败类型。投研场景里,财务数字必须来自已登记的数据源,而不是模型记忆;短剧场景里,角色外观与出场顺序应来自结构化剧本状态,而不是上一段生成结果的偶然描述;知识检索场景里,答案应绑定可回溯片段,而不是无出处的流畅段落。
直连覆盖面广,几乎什么都能“试着做”。Harness覆盖面由已注册工具和已声明策略决定,做不到的事情会显式失败,而不是用更华丽的句子蒙混。对生产而言,显式失败通常比隐性胡说更可运维。
直连改造量小,适合作验证想法。Harness要先建模:允许的数据源、禁止的结论类型、重试次数、单次与全日预算、人工确认点。前期开发量更大,但能避免上线后用人工返工支付隐藏成本。
直连在演示流量下延迟和费用都好看;一旦工具持续报错且没有熔断,模型会换措辞反复调用,时间与费用线性甚至超线性增长。可以把它理解成:缺少“最多重试N次、累计花费超过阈值即停、同类错误不换说法重放”的策略。Harness的延迟可能略高,因为多了校验与状态写入,但稳定性来自可预期的停止,而不是偶尔运气好。具体账单数字随单价、并发和错误率变化,不能事先承诺一个固定节省比例;能承诺的是费用有上限、异常可定位。
直连容易在结论里顺手写出带有投资建议、目标价、涨跌空间等不该由系统自动发布的表述。Harness把“允许生成的话语类型”做成策略:例如只输出事实摘录、口径说明和风险提示,涉及买卖建议则拒绝或改为人工草稿。知识检索则要求引用范围、权限过滤和审计日志;短剧则要求素材授权范围和角色设定不可被后段生成悄悄改写。身份、权限、隔离、加密和审计仍然是通用要求,Harness只是把这些要求接到Agent的每一步,而不是只保护登录接口。
直连运维表面简单,故障时却缺少步骤级日志,只能看到“模型又说错了”。Harness要维护状态机、工具清单、预算和评估集,组件更多,但排障路径更短:是取数失败、校验失败,还是越权表述。
| 维度 | 强模型直连 | Harness控制底座 |
|---|---|---|
| 目标 | 快速演示与探索 | 可上线、可止损、可审计 |
| 停止条件 | 多由模型自行判断 | 次数、预算、校验、人工闸门可执行 |
| 数据口径 | 易混入记忆或未登记来源 | 只允许已注册来源,错则整步失败 |
| 合规表述 | 提示词软约束,易被生成带过 | 策略拒绝或降级为草稿 |
| 重试 | 换说法可能无限重试 | 错误分类、熔断、告警 |
| 上下文 | 容易堆积后漂移 | 按步骤裁剪,关键状态外置 |
| 成本 | 前期低,异常时不可控 | 前期高,长期有上限 |
| 适合阶段 | 概念验证、内部试验 | 对客户承诺质量或费用的生产 |
投研点评。 若只是内部浏览公开信息、结论不对外、数字可人工逐条核对,直连足够暴露想法。一旦报告要进入决策或对外材料,必须把数据源、口径版本、禁止建议类表述和“数字不一致则整段作废”写成校验,而不是指望阅读的人眼尖。错一位会连带估值和结论失效,返工成本高于多写一层校验。
短剧或连续内容生成。 贵的常常不是单次生成,而是角色外观、戏份顺序前后不一致导致整段重来。更稳妥的是把角色设定、镜头顺序和已锁定画面作为外部状态,生成只填当前镜头;不一致就拒绝拼接,而不是让模型“再抽一次直到看着像”。团队若没有人维护这个状态,就不该把连续成片承诺成自动生产。
知识检索。 问答演示可以用直连;面向权限内文档、要求可引用、可拒绝“资料不足”的场景,应采用检索范围限定、引用绑定、无依据不回答。否则流畅错误比拒答更难发现。
示意性伪代码只表达控制流,不对应任何厂商接口:
state = load(task)while state.step < max_steps and state.cost < budget:action = model.plan(state.summary)if action.tool not in allowlist: breakresult = call(action, timeout)if result.error in non_retryable: breakif not deterministic_check(state, result): breakstate.commit(result)if state.needs_human or not state.passed: return draft_for_reviewreturn state.publish()
强模型直连与Harness并不互相否定:前者适合把问题问清楚,后者适合把已经清楚的边界写成系统。投研怕错数和越权建议,连续内容怕状态漂移,知识检索怕无出处的肯定句。选型时先问失败是否可接受、费用是否有顶、事实是否可追溯;这三问答不上来,就不该把自动循环暴露到生产。模型负责能力,Harness负责缰绳,两者缺一,Demo与上线之间的落差就会反复出现。