简介:本文系统拆解AI推理网络选型中的核心指标:从首字延迟、P99尾延迟到网络路径与带宽弹性,区分推理流量与训练流量的本质差异,并给出体验、可用性、成本三组共7项选型指标的结构化对比分析与场景化建议,帮助开发者与技术负责人建立可落地的网络选型评估框架。
在AI应用的工程实践中,很多团队习惯把“网络”当成一个笼统的带宽问题。实际情况是,从用户按下发送按钮到看到第一个字,这段时间里既有请求排队和预填充计算,也有网络往返开销。如果把时延账拆开看,就能发现“加带宽”并不是万能药。
AI推理网络,可以理解为承载推理请求从用户侧到模型服务侧、再把结果流式返回的连接层。它不涉及数据中心内部的GPU互联,却直接影响首字延迟、并发体验和网络账单。本文的对比对象是两类常见的网络承载思路:面向推理服务的低时延网络方案(方案A) 与 面向训练等大流量任务的大带宽网络方案(方案B),以及围绕它们展开的时延敏感型接入与大带宽接入之间的选型差异。
这两类方案的目标都是让算力资源被高效使用,但它们对网络的要求截然不同,混用或错配会带来明显的体验问题与成本浪费。
方案A:推理承载网络。 推理请求数量多、单请求负载小、结果以流式方式逐步返回。用户对“第一个字什么时候出现”“后续输出是否流畅”高度敏感,因此这类网络的核心诉求是低时延、低抖动、控制尾延迟。
方案B:训练承载网络。 训练流量是大带宽、长连接模式,一次数据传输量大且持续时间长,对短期排队有一定容忍度,核心诉求是高吞吐与稳定的大管道。
相同点: 两者都依赖底层物理链路与传输质量,都需要考虑丢包、抖动等基础指标,都需要容量规划与监控。
不同点: 在于时延敏感度、流量模型和队列策略上的根本分歧。两类流量混跑时,推理容易被训练流量挤占资源。
TTFT即首字延迟,从请求发出算到收到第一个token。行业主流推理性能文档通常把它拆成请求排队、预填充和网络时延三段;端到端时延同样包含网络段。常见区间参考是200毫秒到2秒,超过3秒用户会明显感到等待;流式输出的token间隔通常以50毫秒以内为目标。
行业评估报告显示,算力枢纽周边可形成5毫秒时延圈,枢纽之间可实现20毫秒级光层互联;相关监测技术要求把城市内算力中心互联时延定在1毫秒级。需要注意,这些数值是基础设施之间的单向网络时延,不等于应用体验。选型时还要把用户接入段、公网绕行和模型排队时间算进去。
| 指标 | 方案A(推理网络) | 方案B(训练网络) |
|---|---|---|
| 端到端时延与P99 | 核心指标,需P50/P95/P99并确认TTFT、TPOT、E2E口径 | 相对次要,可接受排队 |
| 网络路径与RTT | 必须问清是否专线直连、POP点数量、是否绕行公网 | 关注带宽利用率即可 |
| 带宽弹性 | 关注突发能力与扩容生效时间 | 关注持续大带宽与扩容粒度 |
| 丢包与抖动 | 高敏感,直接影响流式体验 | 中等敏感,重传可容忍 |
| QoS队列策略 | 推理走延迟敏感队列 | 训练走固定带宽队列 |
| 接入成本 | 用户接入段时延需单独核算 | 接入段影响较小 |
| 长期成本 | 网络账单随并发增长,需评估计费口径 | 带宽成本相对可预测 |
这7项指标可分三组:前3项看体验(端到端时延与P99、网络路径与RTT、带宽弹性),中间2项看可用性与接入(丢包抖动、QoS队列),最后2项看长期成本与责任(计费口径、SLA与测试口径约定)。每一项都要求供应商给出测试口径,而不是一个宣传数字。
关于P99的补充说明: 不要只看平均值,要看目标并发下的P50、P95、P99。TPOT反映输出是否流畅,E2E反映整段任务耗时。P99控制不住,长尾请求会拖垮交互体验。
关于路径的补充说明: 物理距离带来的传播时延无法靠加带宽消除,跨区域推理尤其要看真实RTT(往返时延)。
E2E ≈ 排队时间 + 预填充时间 + 网络RTT + 解码时间TTFT ≈ 排队时间 + 预填充时间 + 单程网络时延目标:TTFT < 2s(理想 200ms 级),token间隔 < 50ms
推理网络选型的核心思路是:先把时延账拆开(排队、预填充、网络段),再按业务类型区分流量模型,最后用7项指标、三种分组建立结构化评估框架。方案A赢在体验可控,代价是路径与队列治理成本;方案B赢在带宽性价比,但无法满足流式交互的时延要求。条件化地看:交互密集型业务应把P99时延与真实RTT放在第一位,吞吐密集型业务则应把带宽弹性与单位成本放在第一位。