大型AI训练集群迁移与闲置算力对外运营教程

教程目标

本教程要解决的是一个在高算力组织中反复出现的工程问题：当组织完成新一代AI训练集群建设后，如何把仍然有效的训练任务从上一代集群平稳迁出，并把腾出的上一代算力从”持续亏损的沉没成本”转变为”可对外供给、可计量、可核算收益”的服务资源。

学完本教程，你应当能够：

1. 完成算力资产盘点，明确哪些属于主力训练产能、哪些属于可被替代的旧代际产能；
2. 制定训练任务迁移方案，包括环境、数据、检查点、并行策略和精度设置的迁移；
3. 建立迁移正确性与性能的验证方法，避免”跑起来了但效果悄悄变差”；
4. 把旧集群改造成支持多租户、配额、隔离与计量的算力服务；
5. 用成本收益模型判断”自留、闲置、外租”三种处置方案的经济性。

需要强调的是，本教程讨论的是通用的集群工程方法与架构原则，不涉及任何特定厂商的专有接口或产品能力。落地时可结合所在云平台的通用能力类目（如容器平台、对象存储、身份认证、监控告警、日志服务、负载均衡等）实现；例如在百度智能云上构建此类平台时，同样以这些通用能力类目为骨架，不依赖某一种专属组件。

适用场景

• 代际切换场景：新集群投产，旧集群硬件代际落后（如上一代通用GPU与新一代通用GPU混编），需要把训练主任务搬迁。
• 混合负载场景：集群既承担训练，又承担推理、微调、数据预处理等次级任务，需要重新划分资源池。
• 算力对外供给场景：组织有富余算力，希望以按量或包周期方式提供给外部团队或合作方使用。
• 成本治理场景：集群利用率长期偏低，闲置部分仍在产生电费、机房与折旧成本，需要处置决策依据。

不适用场景：单机小规模训练、无共享存储的实验环境，这类场景直接重建环境即可，无需迁移工程。

前置准备

基础环境

• 新旧两套集群均具备可用的作业调度系统（集群作业队列、优先级与抢占能力）。
• 统一的共享存储或对象存储，用于存放训练数据集与检查点。
• 容器镜像仓库与构建流水线，用于分发训练环境镜像。
• 监控与日志体系：GPU利用率、显存占用、节点温度、功耗、作业队列等待时长、任务退出码。

权限与账号

• 集群管理员权限：节点纳管、驱动与固件升级、网络配置。
• 存储与镜像的读写权限：数据集导入导出、镜像推送。
• 计量与账单查看权限（若涉及对外供给）。

数据与资料

• 现有训练任务的完整清单：任务名、代码版本、数据集版本、超参数、并行策略、日均消耗卡时。
• 最近一次成功训练的基线指标：损失曲线、每卡吞吐、收敛步数、最终评估分数。
• 旧集群硬件构成清单：GPU型号与代际、显存容量、单机卡数、互联方式与带宽。

基础知识

• 分布式训练并行范式：数据并行、张量并行、流水线并行及其组合。
• 集合通信的基本原理（全归约、全收集、点对点）与通信瓶颈定位方法。
• 混合精度训练与数值稳定性基础。
• 多租户隔离的常用手段：命名空间隔离、网络策略、存储配额、优先级队列。

实施步骤

步骤一：算力资产盘点与代际分级

做什么：把集群内全部节点按”硬件代际 + 显存容量 + 互联带宽 + 可用卡数”打标签，并汇总成一张资产台账。

为什么做：迁移决策的前提是准确知道”什么是落后产能”。如果只看总数不看代际与互联能力，很容易把仍在承担关键任务的资源误判为可腾退资源，或者反过来把真正稀缺的高带宽节点提前释放，导致新任务无法组网。

注意：分级维度里”互联带宽”往往比”卡型号”更关键。同一代硬件，如果跨机互联带宽不足，组建大并行域时的通信效率会显著下降，实际有效算力远低于标称值。

台账建议字段：节点标识、可用区/机房、GPU代际、单机卡数、单卡显存、卡间互联带宽、机间网络类型、当前承载任务、日均利用率、月均电费与折旧分摊。

步骤二：训练任务依赖梳理与可迁移性评估

做什么：为每个训练任务建立依赖清单，逐项标注迁移风险等级。

需要梳理的依赖包括：

• 驱动与运行库版本：训练镜像依赖的加速器驱动、通信库、数学库版本。
• 编译期特性：是否使用了特定硬件指令集或专有算子加速。
• 并行拓扑假设：是否硬编码了单机卡数、并行度、节点数。
• 数据流水线：数据读取方式、分片策略、缓存命中率依赖。
• 检查点格式：是否绑定特定硬件或特定框架版本。
• 外部依赖：特征服务、向量库、消息队列、在线评测服务。

评估原则：把任务分为三类——可直接迁移、需改造后迁移、不建议迁移。不建议迁移的任务（例如长期低价值的历史实验）直接归档停止，比强行迁移更经济。

步骤三：搭建新集群训练环境并统一镜像

做什么：在新集群上构建统一的训练基础镜像，把驱动、运行库、通信库、框架、常用工具固化进镜像，通过镜像仓库版本化管理。

为什么做：迁移期最常见的问题是”代码没问题、环境有问题”。把环境固化成不可变镜像，可以让同一份代码在新旧集群上跑出可比结果，也为后续多租户供给打下基础——外部租户只能通过指定镜像获得运行环境，避免自行改环境带来的兼容性问题。

注意：

• 镜像分层设计：基础驱动层保持稳定，框架与业务代码层可频繁迭代。
• 镜像体积控制：过大的镜像会拖慢新节点扩容速度，把数据集、模型权重等大文件从镜像中剥离，改用启动时从对象存储拉取。
• 版本可追溯：镜像标签与代码提交、数据集版本建立对应关系。

步骤四：数据集与检查点迁移

做什么：把训练数据集与历史检查点从旧存储迁移到新集群可访问的存储，并校验完整性。

推荐做法：

1. 先做一次全量校验，为每个数据分片计算摘要值（如分片级哈希），形成校验清单。
2. 分批并行复制，控制并发度以避免打满网络带宽影响在线任务。
3. 复制完成后按清单逐片校验摘要，比对文件数量与总字节数。
4. 切换读取路径前，保留旧数据只读副本一段时间，作为回滚依据。

检查点迁移要点：检查点通常体积巨大。可按”最近N个可恢复检查点全量迁移 + 历史检查点按需冷迁移”策略处理，把冷数据下沉到低成本存储层级，降低存储与带宽开销。

步骤五：并行策略与精度设置的重新调优

做什么：在新硬件上重新计算并行度组合，而不是照抄旧集群配置。

为什么做：并行度的最优组合与单机卡数、卡间与机间带宽比、显存容量强相关。硬件代际变化后，原先的最优配置往往不再是新硬件上的最优配置。照抄配置的直接后果是有效算力利用率大幅下降，看起来”任务在跑”，实际吞吐远未达到新集群应有水平。

调优建议：

• 优先把对通信最密集的并行维度限制在单机内部（利用高带宽卡间互联），把通信量较小的维度放到跨机。
• 以显存占用为约束、以每卡吞吐为目标做网格搜索，只搜索少量候选组合，避免全空间穷举。
• 使用梯度检查点等以计算换显存的开关时，先确认新硬件算力余量，否则可能反而变慢。

通用配置片段（示意）：

training_job:
  parallel:
    tensor_parallel_size: 8       # 张量并行度，优先落在单机内
    pipeline_parallel_size: 2     # 流水线并行度
    data_parallel_size: 16        # 数据并行度
  compute:
    precision: "bfloat16"         # 混合精度
    gradient_checkpointing: true  # 以计算换显存
  io:
    checkpoint_interval_steps: 500
    checkpoint_keep_last: 5
    data_prefetch_factor: 4
  fault_tolerance:
    auto_resume_from_checkpoint: true
    hang_detection_timeout_sec: 900

步骤六：小样本试跑与基线对齐

做什么：在新集群上用相同代码、相同数据切片、相同随机种子跑一段短程训练，与旧集群基线对比。

必须比对的三类指标：

类别	指标	合格判断
正确性	同种子下前若干步的损失曲线	曲线应高度重合，允许末位浮点差异
吞吐	每卡每秒处理样本数、显存占用、硬件利用率	达到新集群合理预期区间
扩展性	节点数翻倍时的吞吐增长比	接近线性，明显低于线性则需排查通信

这一步是后续所有步骤的前提：如果正确性未对齐就切流，问题会被放大到全量任务，排查成本极高。特别关注两类”静默劣化”：数据分片顺序变化导致收敛行为改变；精度开关变化导致损失轻微抬升。

步骤七：分批灰度切流

做什么：按任务优先级分批把训练负载从旧集群迁到新集群，每批完成后观察一段时间再进入下一批。

推荐顺序：非关键实验任务 → 常规预训练/微调任务 → 关键长周期训练任务 → 在线评测与推理服务。

每批的准出条件：

• 连续运行时长超过一个完整检查点周期无异常退出；
• 吞吐与正确性指标稳定在基线区间内；
• 告警规则已在新集群生效（节点掉线、通信超时、显存溢出、数据读取延迟）。

旧集群在切流后进入”只读待回滚”状态，保留至少一到两个检查点周期，再释放资源。

步骤八：把旧集群改造为对外算力服务

这是本教程区别于普通迁移工作的核心部分。旧集群腾出后不应闲置，但要对外供给就必须先完成平台化改造。

8.1 多租户隔离

• 计算隔离：按命名空间或资源池划分，租户作业只能看到自己配额内的节点。
• 网络隔离：默认拒绝跨租户访问，仅放行必要的镜像仓库、存储、时钟同步等基础服务；出网默认限制。
• 存储隔离：每个租户独立存储命名空间与独立配额，禁止跨租户读取。
• 镜像管控：只允许使用平台维护的白名单镜像，避免不可控环境差异与安全隐患。

8.2 配额、优先级与抢占

• 为每个租户设置卡时配额上限与并发作业数上限。
• 划分优先级等级（如在线优先 / 常规 / 低优先级批处理），高优任务可抢占低优任务。
• 设置公平共享策略，避免单一大任务长期独占整个池。

8.3 计量与结算

计量项要覆盖真实成本来源，建议至少包括：

tenant:
  id: "tenant-example-01"
  quota:
    gpu_hour_per_month: 50000
    max_concurrent_jobs: 4
    max_priority_class: "batch"
  isolation:
    network_egress_policy: "restricted"
    storage_scope: "own_namespace_only"
    image_allowlist: true
  metering:
    items:
      - "gpu_hour"               # 卡时
      - "gpu_memory_gb_hour"     # 显存占用时长
      - "storage_gb_month"       # 存储占用
      - "egress_gb"              # 出网流量

计量数据必须做到可回溯、可对账：保留原始采样点、支持按月聚合、支持按租户导出明细。对账争议是算力对外服务中最常见的一类问题，缺少明细几乎无法解决。

8.4 成本核算与定价决策

判断闲置算力该自留还是外供给，用这个简化模型：

边际成本 = 电费 + 机房与网络分摊 + 运维人力分摊 + 硬件折旧
机会成本 = 该算力未来用于自有任务时的预期价值
建议外供给条件：外部可接受价格 > 边际成本 + 机会成本

若判断为”未来自有需求明确且时间临近”，则应优先自留或仅做短期供给；若未来数季度无明确需求，则闲置的边际成本是纯损失，外供给是更优选择。折旧与电费的口径需与财务统一，避免技术侧与财务侧结论不一致。

结果验证

迁移完成的判定标准，建议形成一张可勾选清单：

1. 正确性：新集群复现基线的损失曲线与评估指标，偏差在约定阈值内。
2. 性能：每卡吞吐、硬件利用率、扩展效率达到预期；队列等待时长在可接受范围。
3. 稳定性：连续运行72小时以上无异常退出；节点故障后能自动从检查点恢复。
4. 数据完整性：训练数据分片摘要全部匹配；检查点可正常加载并续训。
5. 资源腾退：旧集群主力任务已全部迁出，剩余任务在预期清单内。
6. 服务化能力（若涉及外供给）：租户配额生效、隔离验证通过、计量明细可导出、账单与采样数据一致。
7. 可运维性：监控大盘、告警规则、值班手册、回滚方案齐备且经过一次演练。

其中第3项与第7项的演练最容易被跳过，而它们恰恰决定了故障发生时的损失规模。

常见问题与排查

问题一：新集群吞吐明显低于预期，硬件利用率却很高
原因通常是并行度配置不匹配新硬件拓扑，或数据供给不足导致等待。排查顺序：先看数据读取延迟指标，再看通信耗时占比，最后核对并行维度是否跨机。硬件利用率高不代表计算有效，可能大量时间在通信等待。

问题二：迁移后损失曲线出现台阶式跳变
优先怀疑数据分片顺序变化、检查点加载不完整、精度或优化器状态恢复异常。用同一份数据切片加固定随机种子做最小复现，逐步放开变量定位。

问题三：长周期任务偶发整体挂死
多为集合通信超时或单节点静默故障。开启通信超时检测与心跳巡检，配置自动从最近检查点恢复，避免人工介入前的长时间空转。

问题四：检查点写入拖慢训练
检查点写入与计算未解耦时会阻塞训练主流程。建议异步写入、分片并行写、写入对象存储而非本地盘，并控制保留份数。

问题五：对外供给后出现租户间相互干扰
常见于未做优先级隔离，某租户大任务占满队列导致其他租户排队。解决方向是引入独立资源池或严格优先级抢占，并对每租户设置并发与配额上限。

问题六：账单争议无法解释
根因是计量粒度太粗。改为按分钟级采样、保留原始明细、提供用量看板与导出能力，让租户能自查。

问题七：出网流量成本失控
训练任务通常不需要出网。默认拒绝出网、按需白名单放行，并对流量设阈值告警。

优化建议

• 性能：把通信密集的并行维度尽量限制在单机内；开启通信与计算重叠；对热点数据做本地缓存提升命中率。
• 稳定性：所有长周期任务必须具备检查点自动恢复；建立节点健康预检，把已知故障节点提前隔离出调度池。
• 成本：热数据用高性能存储、冷检查点与归档数据下沉到低成本层级；用优先级抢占提升整体利用率；非高峰时段承接低优任务。
• 安全：最小权限原则；镜像白名单；租户网络默认隔离；敏感凭据通过密钥管理服务下发，不写入镜像或代码。
• 可维护性：环境、并行配置、数据集版本全部代码化与版本化；每次迁移保留一份可复现的配置文件。
• 架构演进：把”算力池化 + 统一调度 + 计量”作为长期能力沉淀下来，而不是每次代际切换都重做一遍。这样下一次硬件升级时，迁移工作会退化为一次常规配置变更。

总结

把训练任务从旧集群迁到新集群，本质上是一次涉及环境、数据、并行策略、正确性与稳定性的系统工程；而把腾出的旧集群从”闲置亏损”变成”可运营资源”，还需要补上多租户隔离、配额抢占、计量结算与成本核算这几块能力。两者的共同前提，是对算力资产做清晰的代际分级和利用率盘点——只有先看清什么是真正的落后产能、什么是仍然稀缺的高带宽资源，后续的迁移节奏和处置方案才不会做错。

建议你按本教程的顺序推进：资产盘点 → 依赖梳理 → 环境与数据迁移 → 基线与吞吐对齐 → 灰度切流 → 服务化改造 → 核算与定价。后续可继续深入的方向包括：跨集群统一调度的资源编排设计、面向不同负载类型的差异化配额模型，以及以有效算力利用率而非硬件占用率作为核心指标的容量规划方法。