简介:本文解释 Agent 可观测性的定义,拆解监控、追踪、评估、治理四根支柱,说明智能体任务如何以 span 组成的轨迹树被记录,并比较它与传统应用监控的差异。文中还介绍典型应用场景,以及接入时在隐私、成本、采样和数据标准上需要注意的问题。读完后,读者能判断自己的智能体系统需要哪些可观测能力,并知道从哪里入手。
一、Agent 可观测性的定义
Agent 可观测性(Agent observability)指在智能体(Agent)处理任务的全过程中,持续采集结构化的运行记录,并支持事后查询、分析与改进的一整套能力。这里的 Agent 指以大语言模型为决策核心,能够调用工具、读写记忆、与其他智能体协作完成多步任务的软件系统。
可观测性的对象是 Agent 的执行过程,起点是接收用户指令,终点是输出最终回答或执行动作。过程中每一步用到了什么输入、产生了什么输出、消耗了多少资源、结果是否符合预期,都应留下机器和人都能读取的记录。业界也常把这类能力称为智能体遥测(agentic telemetry)。
二、背景与价值
传统软件的执行路径通常由代码预先确定。同样的输入一般走同样的处理流程,出了问题可以顺着调用栈和日志定位。Agent 的执行路径则由模型在运行时决定,同一个任务两次运行可能选择不同的工具,也可能走不同的步数。这带来三类典型问题。
可观测性把这些隐藏的过程变成可查看的记录。团队可以据此回答哪一步耗时最长、哪次模型调用消耗最多、为什么开始原地打转等问题,并调整提示词、工具定义、重试策略或停止条件。
三、核心组成:四根支柱
业界通常把 Agent 可观测性拆成四个相互配合的方向。
(1)监控(Monitoring)
监控关注整体健康状况与趋势,常见指标包括任务成功率、平均耗时、错误率、每日调用量和费用变化。这些数据多以聚合指标的形式呈现,用于及时发现异常。例如,某类任务的失败率在模型版本更新后明显上升,监控能较早给出信号,让团队在大范围影响用户之前介入。
(2)追踪(Tracing)
追踪用于还原单次任务的完整执行路径。它记录每一步的先后顺序、父子关系、耗时和状态,是排查具体问题最直接的依据。监控告诉团队出了问题,追踪告诉团队问题出在哪一步。
(3)评估(Evaluation)
评估用于判断 Agent 的输出质量。评估方式包括人工标注、基于规则的校验,以及让另一个模型按照评分标准打分。评估回答的是答得好不好。它与监控、追踪互相补充:监控发现成功率下降,追踪定位到出错的步骤,评估则判断修复后的输出是否确实更好。
(4)治理(Governance)
治理负责管理成本上限、数据隐私、访问权限和合规要求。具体做法包括限制单次任务的最大调用次数和预算,规定哪些工具可以访问哪些数据,为敏感操作保留审计日志,并设定日志的保留期限。
前两根支柱解释 Agent 做了什么、怎么做的,后两根支柱回答做得好不好、能否放心交付。缺少任何一根都会留下盲区。只有监控,无法定位问题;只有追踪,无法判断质量;没有治理,成本和合规风险容易失控。
四、工作原理:一次任务就是一棵轨迹树
普通接口调用通常是一次请求对应一次响应。Agent 的执行则是循环的。每一轮里,它先调用模型进行思考,再决定是否调用工具、读写记忆,或把子任务交给另一个子 Agent,然后根据结果进入下一轮。
为了表达这种结构,业界普遍采用 span 的概念。span 是一段带有起止时间、名称、属性标签和状态的操作记录。Agent 每完成一个决策周期(通常称为一个 tick),生成一个 span。每次模型调用、工具调用、记忆读写和子 Agent 交接,也各自生成子 span。子 span 挂在上级 span 下,层层嵌套,最终形成一棵轨迹树。
一个 span 通常包含以下字段:
下面是一棵示意性的轨迹树,数字和名称仅用于说明结构:
```
agent.run(根 span,记录整个任务)
├── agent.tick #1
│ ├