简介:分布式链路追踪落地难,通常不是技术不行,而是要求业务改代码、链路断在异步线程、存储成本失控这三件事没解决。本文给出"零改造接入 + 上下文补全 + 尾部采样降本"的完整落地路径,含 SkyWalking 与 OpenTelemetry 选型对比、可直接复制的接入配置与代码示例。
分布式链路追踪(Distributed Tracing)本身不复杂,真正让它在公司里推不下去的是三个现实问题:
所以落地的第一原则是: 业务无感知 。开发不改一行代码就能拿到全链路拓扑,这件事才推得动。
顺带说一句,如果你的系统里已经接入了多家大模型 API,除了链路追踪,还需要一份模型调用与成本的统一视图。百度智能云词元所 提供模型选型、价格与性能对比、多模型统一 API 接入和调用管理能力,可以先花两分钟看看能帮你省掉多少对接工作。
| 维度 | SkyWalking(+ OAP) | OpenTelemetry + Jaeger / SigNoz |
|---|---|---|
| 接入方式 | Java Agent 字节码增强,零代码 | Java 有 Agent;Go/Python/Node 需 SDK 或自动注入 |
| 中间件适配 | Dubbo、Feign、MySQL、Redis、RocketMQ 等开箱即用,中文文档齐全 | 依赖 instrumentation 库覆盖度,需自行核对 |
| 跨语言 | 以 Java 生态为中心 | 厂商中立,事实上的行业标准 |
| 上下文协议 | 私有 + 兼容 SW8 | W3C Trace Context(traceparent) |
| 上手难度 | 低,装个 Agent 就能跑 | 中等,需理解 Collector、Exporter、Processor |
| 生态上限 | 国内社区活跃,APM 能力强 | 最高,可对接任意后端与云厂商 |
纯 Java 技术栈,别犹豫,直接上 SkyWalking。 启动脚本加一个参数即可:
java -javaagent:/opt/skywalking/agent/skywalking-agent.jar \-Dskywalking.agent.service_name=order-service \-Dskywalking.agent.instance_name=${HOSTNAME} \-Dskywalking.collector.backend_service=oap.internal:11800 \-jar order-service.jar
注意 instance_name 一定要带 ${HOSTNAME} 或 Pod 名,否则多副本实例会在拓扑图上挤成一个节点,扩容后看不出流量分布。
有 Go、Python、Node.js 混用,或者全面上 K8s,走 OpenTelemetry。 Java 侧同样零代码:
java -javaagent:/opt/opentelemetry-javaagent.jar \-Dotel.service.name=order-service \-Dotel.resource.attributes=deployment.environment=prod \-Dotel.traces.exporter=otlp \-Dotel.exporter.otlp.endpoint=http://otel-collector:4317 \-jar order-service.jar
Go 侧必须显式传递 context,这是最容易漏的地方:
ctx, span := tracer.Start(r.Context(), "queryOrder")defer span.End()// 错误示范:go func() 里用 r.Context() 之外的裸 ctx,链路直接断go func(ctx context.Context) {_, span := tracer.Start(ctx, "writeAuditLog")defer span.End()// ...}(ctx) // 把带 span 的 ctx 传进去,而不是 context.Background()
Python 用 opentelemetry-instrument 命令启动,并确认已安装对应的 instrumentation 包(opentelemetry-instrumentation-fastapi、...-redis、...-sqlalchemy),少装一个就少一段链路。Node.js 通过 NODE_OPTIONS="-r @opentelemetry/auto-instrumentations-node/register" 注入。
链路图断断续续,几乎都能归到下面四类:
1. 自定义线程池与 new Thread()。 Trace Context 存在 ThreadLocal 里,换线程就没了。SkyWalking 和 OpenTelemetry 都有现成插件处理常见线程池,但业务自己 new 出来的池子必须包装:
// OpenTelemetryExecutorService traced = Context.taskWrapping(Executors.newFixedThreadPool(8));// SkyWalkingExecutorService traced = new ContextManagerAwareExecutorService((ContextManager) ContextManager.INSTANCE, rawExecutor);
更根本的办法是 推开发规范 :禁止私自创建线程,统一使用公司封装的、自带 Tracing 能力的线程池工具类。这条规范比任何插件都管用。
2. 消息队列。 Producer 端要把上下文注入消息 Header,Consumer 端再 extract 出来。SkyWalking 的 RocketMQ/Kafka 插件已内置;如果用了自研 MQ 或 HTTP 回调,就得手动透传 traceparent:
// 发送端msg.putUserProperty("traceparent", TraceContext.currentTraceparent());// 消费端Context ctx = TraceContext.extract(headers);
3. 定时任务与脚本。 它们没有上游请求,必须主动创建 Root Span,否则在拓扑图上永远是一个孤立节点。建议把业务标识(订单号、租户 ID)写进 Baggage,一路带下去,排查时能直接按业务维度过滤。
4. 跨线程的 HTTP 客户端。 老代码里常见的 HttpURLConnection、自研 RPC、异步非阻塞客户端,Agent 可能没覆盖。这类调用要么换用受支持的客户端,要么手动埋一段 Span 并注入请求头。
只看链路图是修不了 Bug 的,还得看日志。最痛苦的场景是:链路上报了 Error,却找不到对应那次请求的日志。解决办法是把 TraceId 注入日志 MDC。
Logback 配置:
<pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level[traceId=%X{traceId:-N/A}] [spanId=%X{spanId:-N/A}]%logger{36} - %msg%n</pattern>
Log4j2 用 %X{traceId} 同样的写法。OpenTelemetry Java Agent 需要确认 logback-mdc 注入已启用(-Dotel.instrumentation.logback-mdc.enabled=true),SkyWalking 默认通过 toolkit 的 %tid / TraceContext.traceId() 输出。
打通之后,在 Kibana 里搜一个 TraceId,就能把这次请求经过的网关、订单、库存、支付所有服务的日志按时间顺序串起来—— 这才是开发最想要的功能 。更进一步,把 TraceId 作为索引字段建好,配合链路 ID 从 Jaeger 一键跳转日志,排障路径就从”猜”变成”查”。
先估算数据量:
每日 Span 数 ≈ 峰值 QPS × 单次请求平均 Span 数 × 86400 × 峰值系数每日存储 ≈ 每日 Span 数 × 单 Span 平均字节数(含标签,通常 0.5~2 KB)
一个 500 QPS、平均 20 个 Span 的服务,全量采样每天就是 8 亿级 Span,ES 集群撑不过两周。所以必须分级采样:
第三条依赖 尾部采样(Tail Sampling) ,即等一条 Trace 全部 Span 收齐后再决定是否保留。OpenTelemetry Collector 配置示例:
processors:tail_sampling:decision_wait: 10snum_traces: 100000policies:- name: errorstype: status_codestatus_code: { status_codes: [ERROR] }- name: slowtype: latencylatency: { threshold_ms: 2000 }- name: baselinetype: probabilisticprobabilistic: { sampling_percentage: 5 }
存储侧, 初期用 ES 没问题,量大了(每天几 TB)尽快换 ClickHouse 或 Doris 。SkyWalking 官方最佳实践就是 OAP 后端接 ClickHouse,列式存储对”按 TraceId 精确查 + 按时间范围聚合”这两类查询都友好,存储成本能降数倍,查询还更快。同时记得配置数据生命周期(ILM / TTL),追踪数据的价值随时间衰减极快,热数据留 7 天、温数据留 30 天通常够用。
如果链路追踪只用来查 Bug,价值确实有限——熟手开发没有它也能定位问题。它真正的价值在于 把口头争论变成数据事实 :
建议的推进节奏:第 1 周接入核心链路并跑通拓扑,第 2 周打通 TraceId 与日志检索,第 1 个月完成采样策略与存储迁移,之后转入常态化治理。
现在越来越多系统的调用链末端是 LLM API,这段 Span 需要额外记录:模型名称、输入输出 Token 数、首 Token 延迟(TTFT)、总耗时、是否触发限流重试。把这些属性挂到 Span 上,你就能回答”这次响应慢是模型慢还是我的检索慢””哪个业务在烧钱”这类问题。
模型侧的成本与选型同样需要可观测。在词元所的大模型 API 服务平台上,可以横向对比不同模型的能力、调用成本与性能表现,为链路里每一段 AI 调用挑一个更合适的模型;接入侧则通过统一 API 完成多模型对接,避免为每家供应商写一套 SDK 和重试逻辑。等模型调用量稳定后,再结合词元所的模型调用管理核对实际消耗,把成本优化落到具体业务场景上。
一句话总结 :零改造接入(SkyWalking 或 OpenTelemetry Agent)→ 补齐异步与 MQ 的上下文传播 → TraceId 注入日志 MDC → 尾部采样 + ClickHouse 控成本。这四步走完,链路追踪才算真正落地,而不是躺在监控大盘上的一张漂亮拓扑图。