2026年系统顶会中的AISys论文：定义、技术版图与判断方法

在2026年操作系统设计与实现研讨会（下称“本次研讨会”）的论文目录中，一个明显变化是AI系统类论文大幅增加；与此同时，操作系统、存储、网络、共识、安全、虚拟化与程序分析等传统方向依旧活跃。两类论文具体涉及哪些问题，需以会议官方公布的信息为准。本文先回答一个更基础的问题：这里的AISys究竟是什么，如何读懂并判断这类论文。系统方向研究者通常把这类论文简称为AISys paper，即AI系统（AI Systems）论文。

一、概念定义：AISys是什么

AISys是“AI系统”的简称。它指一类以人工智能负载，尤其是大规模机器学习训练、微调和在线推理，为核心服务对象和核心挑战的系统研究与技术方案。它关心的不是模型精度能提升多少，而是模型能否被高效、稳定、低成本地运行和服务。为避免停留在术语层面，可以从三个视角理解：

• 技术视角：AISys把操作系统与分布式系统的方法迁移到以图形处理器（GPU）等异构加速器为中心的环境。这里的算力由加速器提供，数据在张量与集合通信之间流动，显存容量与互联带宽常成为关键约束。因此，调度、内存管理、隔离等经典问题都以新的形态重新出现。
• 业务视角：AISys回答的是“单位算力的有效产出”问题。训练侧关注集群整体吞吐与故障恢复时长，推理侧关注首字延迟、生成速率和每百万词元（token）成本。二者最终都归结为资源利用率与服务质量。
• 使用视角：AISys论文的产物往往是系统组件，例如调度器、缓存管理器、通信优化方案或运行时。阅读这类论文，核心不是“模型效果好不好”，而是“它改变了哪条系统执行路径、带来多少收益、付出什么代价”。

需要明确的边界是：AISys既不是机器学习算法研究，也不是单纯的模型压缩，而是关注“模型之上”和“模型之下”的系统层。模型结构本身通常被视为输入，而不是优化对象。

二、背景与价值：为什么AISys成为系统顶会的主流议题

AISys在近年系统类会议上受到集中关注，主要有三方面驱动力。

1. 负载结构变了。 以词元为处理单位、以张量为数据组织形式的负载，在显存占用、计算强度和通信模式上都与传统请求式服务差异明显。
2. 系统规模变了。 训练任务从单机扩展到由数千甚至上万张加速卡组成的集群，单点故障、网络拥塞和同步开销被同步放大。
3. 经济性要求变了。 当训练与推理成本可以直接折算为经营指标时，系统优化第一次有了清晰的经济价值，这类论文因此获得了来自工业界的强需求牵引。

AISys的价值体现在四个层面：

• 提升资源利用率：减少加速卡在等待通信、等待数据和切换任务上的空闲时间，让昂贵的算力真正用于计算。
• 改善服务质量：在高峰期以可控的延迟代价换取更高吞吐，避免长尾请求拖垮整体体验。
• 增强稳定性与可恢复性：让大规模任务在硬件故障常态化的情况下仍能持续训练，把恢复时间压缩到分钟级。
• 控制总成本：通过缓存复用、弹性伸缩与异构混布，降低单位词元的生产与处理成本。

传统方向“都还在”也有明确的逻辑。AI负载并没有取代原有的系统问题，只是让这些问题的边界发生了变化：

• 操作系统：进程调度演变为加速卡算力与显存的分配与回收。
• 存储：业务从海量小文件读写转向高吞吐的数据加载与检查点写入。
• 网络：业务从通用数据包转发转向集合通信的拥塞控制与拓扑优化。
• 共识：用于维护分布式任务的元数据、配置与故障切换状态的一致性。
• 安全：扩展到模型资产保护、多租户隔离与数据合规。
• 虚拟化：从服务器切分延伸到加速卡切分与混合部署。
• 程序分析：应用于算子正确性验证、代码缺陷检测与配置错误定位。

因此，“AISys论文多”与“传统方向依旧活跃”并不矛盾，前者正是后者在新负载下生长出的分支。

三、核心组成：AISys的技术版图

AISys并不是单一技术，而是覆盖训练到推理全生命周期的系统技术集合，主要包括以下部分。

1. 训练系统：解决大规模训练的效率与可靠性问题。

   • 并行策略：包括数据并行、张量并行、流水线并行、序列并行，以及混合专家模型（MoE）所需的专家并行。
   • 显存管理：涉及激活重计算、优化器状态分片、参数与状态卸载等。
   • 通信优化：包括通信与计算重叠、层次化集合通信、通信压缩等。
   • 容错与弹性：通过周期性检查点、异步保存、故障快速检测和自动重组，缩短任务中断后的恢复时间。

2. 推理服务系统：解决在线服务的吞吐与延迟问题。

   • 请求调度：典型技术包括连续批处理（continuous batching）、分块预填充、先来先服务或最短作业优先的排队策略，以及按服务等级目标（SLO）进行准入控制。
   • 键值缓存（KV Cache）管理：涵盖分页式显存管理、前缀缓存复用、分级存储（显存—主机内存—本地存储）和缓存量化。
   • 多模型与多实例协同：包括负载均衡、模型副本弹性伸缩、预填充与解码阶段分离部署等。

3. 集群调度与资源管理：在成百上千个任务与节点之间进行拓扑感知调度、队列与配额管理、抢占与回收，以及碎片整理。目标是减少加速卡闲置，同时保障高优先级任务。

4. 加速器虚拟化与异构资源池：通过硬件级切分或时间片共享，把一张加速卡的算力与显存分配给多个任务，并把不同型号、不同代际的加速器纳入统一资源池。

5. 数据与存储系统：覆盖高吞吐的数据集加载流水线、训练检查点的高速写入与恢复、面向检索增强生成（RAG）的向量检索，以及大规模日志与指标数据的采集。

6. 网络与通信：涉及面向集合通信的拓扑感知路由、拥塞控制、多路径传输，以及计算与通信的流水重叠。

7. 编译器与运行时：通过计算图优化、算子融合、自动并行切分和内核自动生成，把高层模型描述高效映射到底层硬件。

8. 利用AI优化系统（AI for System）：例如用机器学习模型预测请求长度以改进调度，用强化学习优化缓存替换策略，或用异常检测与根因分析工具提升运维效率。

四、工作原理：一次训练与一次推理的系统视角

4.1 训练：按并行策略切分计算与数据

训练的基本循环是“取数据、前向计算、反向计算、同步梯度、更新参数”。当模型与数据规模超过单卡能力时，系统必须选择切分方式：

• 数据并行：每个设备持有完整模型副本，处理不同的数据分片，每步通过集合通信同步梯度。
• 张量并行：把单层权重切分到多个设备，前向与反向过程中需要频繁通信，通常部署在单机内部的高速互联中。
• 流水线并行：模型按层划分为多个阶段，以微批的方式流水执行，阶段间存在空闲（称为流水线气泡）。
• 专家并行：在MoE模型中，词元按路由结果发送到不同设备上的专家，依赖全交换（All-to-All）类通信。

概念性伪代码如下（仅示意执行逻辑，不对应任何特定实现）：

for step in range(total_steps):
    batch = data_loader.next()                  # 数据供给，需与计算重叠以避免等待
    outputs = model.forward(shard_of(batch))    # 按所选并行策略切分计算
    loss = criterion(outputs, batch.labels)
    grads = backward(loss)                      # 反向传播，产生梯度
    grads = all_reduce(grads)                   # 同步梯度，可与反向计算重叠
    optimizer.step()                            # 更新分片后的参数与优化器状态

AISys优化主要作用于三个环节：一是让数据加载与计算重叠，避免加速卡等待；二是让通信与计算重叠，并压缩通信量；三是通过显存分片与卸载，让模型放得下、跑得动。

4.2 推理：批处理、缓存与排队

在线推理通常分为两个阶段：

• 预填充（Prefill）：一次性处理输入提示，计算密集。
• 解码（Decode）：逐个词元生成输出，受显存带宽制约。

在解码阶段，请求所需的键值缓存会随上下文长度增长而持续占用显存。如果必须等整批请求全部结束才能接纳新请求，加速卡的利用率就会下降。常见推理调度器的逻辑如下：

循环：
  1. 准入：根据剩余显存、最大批大小和延迟目标，从等待队列中选择新请求
  2. 执行：对本批次执行一步前向计算，并为新词元分配缓存空间
  3. 退出：生成结束符或达到长度上限的请求退出，释放其缓存
  4. 抢占：显存不足时，将低优先级请求的缓存换出到主机内存或存储

围绕这一框架，AISys论文常见的研究方向包括：

• 连续批处理：请求可以随时加入或离开批次，提升加速卡占用率。
• 分块预填充：把长提示拆成小块，与解码请求混合执行，缓解长提示造成的延迟抖动。
• 前缀缓存复用：对多轮对话、相同系统提示等重复前缀复用已有缓存，减少重复计算。
• 预填充与解码分离：两类请求对硬件资源的需求不同，分开部署便于各自扩缩容和独立优化。

五、哪些AISys论文值得重点关注

面对大量AISys论文，可以按以下问题建立筛选标准：

1. 问题是否真实：是否来自真实负载或大规模集群的观测？还是人为构造的极端场景？
2. 收益与代价是否量化：是否同时给出吞吐、延迟分布（如P99）、资源利用率和额外开销？
3. 基线是否公平：对比对象是否包含当前工程实践中成熟使用的方案？
4. 是否可复现：代码、配置与评测脚本是否公开？对硬件规模和软件版本的依赖是否明确？
5. 通用性如何：结论是仅适用于特定模型和硬件，还是能抽象出可迁移的设计原则？
6. 落地门槛多高：需要改动哪些组件？对现有框架和运维流程的侵入程度如何？

按上述标准，可将论文分为三类：

• 必读：问题普遍存在，收益显著且代价可控，思路可借鉴。
• 选读：场景相对特殊，但对特定业务（如超长上下文或多模态）有直接参考价值。
• 了解：偏探索性或高度依赖特定硬件条件，短期内难以落地。

六、典型应用场景

AISys相关技术主要应用于以下场景：

• 大规模训练平台：在数千张加速卡的集群上组织训练任务，重点在于并行策略配置、通信优化和容错恢复。
• 在线推理服务：面向对话、检索增强生成、智能客服等应用，重点在于延迟、吞吐与成本的平衡。
• 多模型混合服务：在同一资源池上同时承载多个模型，通过混布与弹性伸缩提高整体利用率。
• 训练与推理混合集群：白天以推理为主、夜间以训练或批量任务为主，需要任务抢占与资源隔离。
• 边缘与端侧推理：资源受限环境下的模型量化、内存优化与小模型调度。
• AI与系统相互赋能：用AI优化调度与运维决策，同时用系统能力提升AI服务的稳定性。

在百度智能云等云服务平台的实践中，容器服务、对象存储、负载均衡、监控告警与日志服务等通用能力可组合为训练与推理平台的基础设施，为上述场景提供资源编排、数据存取与可观测性支撑。

七、相关概念区别

• AISys与传统操作系统研究：AISys继承了调度的思想，但调度对象是异构算力与显存，约束条件从CPU时间片变成显存容量与互联带宽。
• AISys与机器学习研究：前者优化吞吐、延迟、成本与稳定性，后者优化精度、泛化能力等模型指标，二者目标不同，评价方法也不同。
• AI for System与System for AI：前者指用AI技术优化系统本身，后者指用系统技术支撑AI负载，二者常同时出现在一篇论文中。
• AISys与云计算产品：AISys研究提供机制与思路，云产品则把这些机制工程化，并保障稳定性、可用性与运维体系。百度智能云等云平台提供的通用云产品类别，可视为AISys研究成果走向规模化应用的一种路径。

八、使用注意事项

1. 关注评测条件：论文中的加速比往往依赖特定模型规模、网络拓扑和软件版本，迁移到自有环境前需要复测。
2. 警惕局部最优：只优化通信或只优化调度，可能把瓶颈转移到显存容量或数据供给上，应以端到端指标评估。
3. 重视工程成熟度：研究原型与可长期维护的系统之间存在差距，需要评估代码质量、社区活跃度和升级风险。
4. 安全合规不能缺位：多租户共享加速卡时需做好算力与显存隔离；模型权重、训练数据与提示词等敏感资产需要访问控制与审计；用AI组件辅助系统决策时，应保留人工复核与回退机制。
5. 分阶段验证：先在小规模环境复现关键指标，再通过灰度发布逐步扩大流量，并持续对比资源利用率与服务质量。
6. 统一度量口径：同时记录吞吐、P99延迟、加速卡利用率和单位词元成本，避免用单一指标得出片面结论。

九、总结

AISys是围绕AI训练与推理负载构建的系统研究与工程实践，核心是用调度、存储、网络、安全等系统方法，让加速器算力被充分、稳定、经济地使用。在本次研讨会的论文中，AISys类论文的增多反映了AI负载对系统设计的深刻重塑，而操作系统、存储、网络、共识、安全、虚拟化与程序分析等传统方向的持续活跃，说明系统研究的基本问题并未改变，只是被赋予了新的形态。

对开发者和技术选型人员而言，阅读AISys论文的正确方式，是结合真实负载理解其解决的问题、收益边界与代价。只有这样，论文中的设计思想才能真正转化为稳定可靠的平台能力。