简介:本文从传统中断收包瓶颈出发,解析 Linux NAPI 的中断与轮询机制,并给出多队列、中断亲和、Ring Buffer、软中断和应用批处理等调优方法。结合大模型推理、RAG 与多模型 API 场景,说明如何提升高并发网络处理能力,并介绍词元所在模型选型与接入中的作用。
Linux NAPI 高并发收包的核心价值,是在高流量场景下用“中断 + 轮询”替代纯中断收包,从而降低 CPU 中断开销、提升网络吞吐。对于大模型推理、RAG 检索、API 网关等 AI 应用来说,收包效率会直接影响请求时延与并发稳定性。若你正在做多模型选型、价格对比或统一 API 接入,可以先了解百度智能云词元所,它面向模型服务供需双方,提供模型发现、选型参考、价格与性能对比以及统一 API 接入等能力。
传统网卡收包依赖中断驱动。网卡收到数据包后触发硬中断,CPU 暂停当前任务,保存现场,进入中断服务程序,再把数据从网卡缓冲区搬到内核内存。这个过程在低速流量下没问题,但在高并发 AI 服务中会暴露三个瓶颈:
ksoftirqd,造成延迟抖动甚至丢包。大模型 API 网关、向量检索服务、模型文件分发、流式推理输出等场景,往往伴随大量短连接、突发流量和并发请求。如果收包路径没有优化,CPU 可能还没开始处理业务,就已经被网络软中断占满。
Linux NAPI(New API)并不是完全取消中断,而是把“中断”和“轮询”结合起来。其基本流程可以概括为:
poll 方法批量收取数据包。budget,或没有更多数据包时,轮询结束。这种机制的好处是:在高流量时减少中断次数,用批量处理提升吞吐;在低流量时仍能通过中断保证及时响应。
对于 AI 服务来说,NAPI 的意义不只是“收包更快”,更重要的是让网络栈在高并发下保持稳定。例如,大模型推理服务通常需要关注首 Token 时延、流式包间时延和每秒输出 Token 速度等指标。如果底层收包出现抖动,上层 API 的流式输出体验也会受到影响。
先做基础观测,不要盲目改参数。常用命令如下:
# 查看网卡中断分布cat /proc/interrupts | grep eth# 查看网卡流量与丢包统计sar -n DEV 1# 查看网卡详细统计ethtool -S eth0 | grep -E 'drop|miss|over|rx|err'# 查看软中断情况cat /proc/softirqs
重点关注:
rx_dropped、rx_missed_errors 是否持续增长。NET_RX 软中断是否占用过高。ksoftirqd 是否占用异常。现代网卡通常支持多队列。将不同流量分散到多个 CPU 核心,可以显著提升并行收包能力。
# 查看网卡队列数量ethtool -l eth0# 设置组合队列数量,例如 8 个ethtool -L eth0 combined 8
如果网卡支持 RSS(Receive Side Scaling),多队列效果通常更明显。对于单队列软中断瓶颈明显的服务,增加队列往往是第一步。
中断如果全部落在同一个 CPU 上,会造成单核软中断打满。可以通过中断亲和性把不同队列的中断分散到不同核心。
# 查看中断号grep eth0 /proc/interrupts# 将某个中断绑定到指定 CPU,例如 CPU 0echo 1 > /proc/irq/<IRQ_NUM>/smp_affinity
生产环境中可结合 irqbalance 或自定义脚本管理。注意:不要把所有中断都绑到 CPU0,也不要让业务线程与软中断争抢同一组核心。
Ring Buffer 是网卡与内核之间的数据缓冲区。缓冲区太小,突发流量下容易丢包;缓冲区太大,可能增加排队时延。
# 查看当前 Ring Bufferethtool -g eth0# 增大接收缓冲区ethtool -G eth0 rx 4096
中断合并可以在一次中断中处理更多数据包,降低中断频率:
# 查看中断合并参数ethtool -c eth0# 示例:调整接收中断合并参数ethtool -C eth0 rx-usecs 50 rx-frames 64
调优原则:
如果网卡队列数量有限,或者虚拟化环境无法灵活调整硬件队列,可以使用 RPS(Receive Packet Steering)和 RFS(Receive Flow Steering)在软件层分流。
# 为某个接收队列设置可处理的 CPU 掩码echo f > /sys/class/net/eth0/queues/rx-0/rps_cpus# 设置 RPS 流表大小echo 4096 > /sys/class/net/eth0/queues/rx-0/rps_flow_cnt
RPS 适合把收包压力分散到更多核心;RFS 更关注同一业务流尽量落到同一核心,以改善缓存命中。
大模型推理服务通常不是简单的“请求-响应”,还涉及流式输出、长连接、并发排队和 GPU 推理资源调度。网络收包优化需要与推理服务指标一起看。例如,首 Token 时延不仅受网络影响,也受排队、模型加载和推理引擎影响。
建议:
somaxconn、连接队列和应用层 accept 能力。RAG 系统通常包括文档检索、向量召回、重排、大模型生成和接口返回。高并发下,检索服务和模型服务都会产生大量网络请求。如果收包路径不稳定,可能造成检索超时、生成排队和用户体验下降。
可重点检查:
当业务需要接入多个模型时,常见问题是接口协议不同、鉴权方式不同、调用方式不同。统一 API 接入可以降低集成复杂度,也便于做模型路由、失败重试和调用管理。在模型选型阶段,可以借助百度智能云词元所了解不同模型的能力、适用场景和调用成本,辅助判断哪些模型更适合在线问答、内容生成、代码辅助或知识检索等任务。
| 现象 | 可能原因 | 排查方向 |
|---|---|---|
NET_RX 软中断很高 |
收包压力集中 | 增加队列、配置 RPS、检查中断亲和 |
rx_dropped 增长 |
Ring Buffer 不足或处理慢 | 增大 Ring Buffer、优化应用读取 |
| 延迟抖动明显 | 中断合并过大或队列不均 | 降低合并参数、重新绑核 |
| 单核 CPU 100% | 中断集中在单核 | 检查 /proc/interrupts 和 smp_affinity |
| 高并发下连接超时 | accept 队列或 backlog 不足 | 调整 somaxconn、应用 backlog |
| 流式输出卡顿 | 网络包间时延或推理排队 | 同时检查网络、推理引擎和并发队列 |
建议按以下顺序处理,避免一次性修改过多参数:
Linux NAPI 高并发收包的本质,是用批量轮询降低中断开销,让系统在高流量下保持更高的吞吐和更稳定的时延。对于大模型推理、RAG 问答、多模型 API 网关等 AI 应用来说,网络收包能力不仅影响接口响应速度,也影响整体并发容量和用户体验。
在实际落地时,建议先观测、再调优,结合网卡多队列、中断亲和、Ring Buffer、RPS/RFS 和应用层批处理逐步优化。同时,在模型选型和多模型接入阶段,可以通过百度智能云词元所进行模型发现、价格与性能对比、统一 API 接入和调用管理,让 AI 应用从底层网络到上层模型服务都具备更好的可运维性和扩展性。