简介:AI应用的性能、质量与成本问题往往同时出现,单看延迟曲线无法定位。本文拆解LLM监控、追踪与可观测的层级差异,深度对比通用APM扩展、LLM原生平台、云厂商一体化、OTel自建四类技术路线,给出埋点、评估与成本归因的落地方法和选型清单。
2026年做AI可观测平台选型,先给结论:主流方案只有四类——通用APM厂商的LLM扩展模块、LLM原生可观测平台、云厂商模型服务自带观测、基于OpenTelemetry自建。真正的分水岭不是”能不能画延迟曲线”,而是 评估(Evaluation)能力 和 Trace覆盖的完整度 。而在动手选型之前,建议先用百度智能云词元所把模型清单、价格与性能对比、多模型统一API接入这几件事定下来——因为可观测平台里的成本归因口径,直接依赖你用了哪些模型、按什么方式计费。
很多团队把”接了监控”当成”有了可观测性”,这是2026年最常见的误判。
| 层级 | 观测对象 | 典型指标 | 能否解释”答案为什么错” |
|---|---|---|---|
| LLM监控 | 性能指标 | 响应延迟、错误率、Token用量与成本 | 不能 |
| LLM追踪 | 单次请求的执行步骤 | 检索、工具调用、模型调用、后处理的耗时与输入输出 | 部分能 |
| LLM可观测 | 监控+追踪+评估 | 上述全部 + 忠实度、相关性、任务完成度评分 | 能 |
评估是2026年的分水岭能力。部分工具支持对采样生产流量运行 LLM-as-Judge 评分,但忠实度、相关性和任务完成度需要 不同的量规(rubric) ,不能用一套提示词打天下;评分与告警能力应按产品、版本和配置逐项核验,而且 评分本身不是事实真值 ,必须用人工标注集校准过才有参考价值。
还有一条边界必须提前说清: LLM可观测与基础设施可观测是两个互补层面 。前者管Agent调试与输出质量,后者管主机、应用错误与部署健康,多数生产环境两者都需要,并通过上下文传播和一致的关联标识建立联系。单有OTel协议或Webhook回调,并不能保证两侧能关联起来。
代表思路是在既有APM/可观测平台上增加AI语义约定支持。最大优势是 同一条Trace里既有模型调用,也有业务服务调用 。一个AI请求慢,原因可能在模型,也可能在检索服务和工具背后的微服务;当埋点与上下文传播完整时,模型调用、向量检索、工具执行和下游服务会出现在同一条Trace中,火焰图能直接指出等待发生在哪一段。观测云这类平台走的就是这条路:LLM与Agent数据和业务链路放在同一平台,跨轮次任务由Session组织。
围绕Prompt版本、数据集、实验、评估器和标注构建闭环,LangSmith、Langfuse、Phoenix 属于这一类的典型代表。强项是 开发期到上线后的质量迭代 :Prompt改动可以做回归对比,失败样本能直接沉淀成数据集。
模型平台直接提供调用监控、用量与密钥维度的统计,例如百度智能云千帆提供的调用监控实时数据能力。接入成本最低,开箱即用,但可见范围基本被限制在该平台的模型调用内,跨云、跨框架的自研环节看不到。
用OTel SDK埋点 + Collector + 后端存储(Prometheus/Tempo/Jaeger或商业后端)自建。可控性最强,避免供应商锁定,GenAI语义约定让 gen_ai.* 属性具备跨工具可移植性。
无论选哪一类,下面这段埋点逻辑都跑不掉:
from opentelemetry import tracetracer = trace.get_tracer("ai-gateway")def chat_with_rag(query: str, session_id: str, user_id: str):with tracer.start_as_current_span("ai.request") as root:root.set_attribute("gen_ai.operation.name", "chat")root.set_attribute("gen_ai.request.model", "ernie-4.0-turbo-128k")root.set_attribute("session.id", session_id) # 组织多轮任务root.set_attribute("tenant.id", user_id) # 成本分摊维度with tracer.start_as_current_span("retrieval.vector_search") as sp:docs = vector_search(query) # 检索耗时独立成Spansp.set_attribute("retrieval.top_k", 5)with tracer.start_as_current_span("gen_ai.chat") as sp:resp = llm.chat(query, docs)sp.set_attribute("gen_ai.usage.input_tokens", resp.usage.input_tokens)sp.set_attribute("gen_ai.usage.output_tokens", resp.usage.output_tokens)# 采集策略决定是否留空 Prompt/Completion 正文return resp
三个必须注意的点:
AI应用的费用异常通常不是单价问题,而是 调用次数被放大 。同一个模型调用重试数次、Agent循环里重复检索、失败请求仍然计费,这些在只看总账单时完全不可见。
单次请求成本可按下面的口径核算:
单次成本 = (输入Token / 1e6 × 输入单价) + (输出Token / 1e6 × 输出单价)总成本 = Σ单次成本 × 重试放大系数 + 检索/工具/向量库等依赖成本
把 gen_ai.request.model 和 gen_ai.usage.* 落到Span属性上,就能按模型、按业务线、按租户三个维度切分账单,重试放大系数也会直接暴露在Trace里。要做模型层面的降本决策(比如把简单意图识别从旗舰模型换到轻量模型),前提是先有一份可信的价格与性能对照——词元所模型服务提供的模型价格与性能对比能力,正好可以补上这一环,避免凭感觉换模型导致质量回退。
按顺序回答下面五个问题,答案会自然收敛到某一类方案:
trace_id 打通。补充两条工程实践:采样策略上,纯头部采样会系统性丢掉错误请求,建议对错误和高延迟请求做尾部采样或全量保留;关联标识上,trace_id、session_id、tenant_id 三者必须在网关层统一注入,这是LLM可观测与基础设施可观测能够互相对齐的唯一桥梁。
第一周先把网关埋点和Token计量打通,拿到”哪个模型、哪个业务、烧了多少Token”的基线;第二到三周补齐检索与工具Span,解决”慢在哪一段”;第四周再引入评估,用采样流量跑LLM-as-Judge并对照人工标注校准。这个顺序不能颠倒——没有完整Trace的评估结论,只是另一份无法归因的猜测。
如果你还在多模型混用、成本口径混乱的阶段,可以先通过百度智能云词元所(Token Exchange)完成模型发现与选型、统一API接入和调用情况管理,把可观测的”分母”先固定下来,再接入任意一类平台做质量 dive-in,整体落地成本会低得多。