概述

本文档介绍在百度百舸 AI 计算平台中，分布式训练任务使用闲时资源的方法。

用户在百舸中购买的资源以资源队列的形式划分给不同的业务，不同业务的资源队列可能会出现忙闲不均的场景，某些业务的资源队列在特定时间段内可能闲置，而其他业务的资源队列可能因缺少资源而排队，导致整个资源池维度上出现资源浪费。

为了解决上述痛点，百舸提供了分布式训练使用闲时资源的能力，提升资源池的整体利用率，实现原理如下：

• 允许管理员将队列的空闲资源出借给同资源池的其他队列，用于创建训练任务，提升资源池的整体利用率。
• 开启闲时资源的任务，使用当前队列或者其他队列的空闲资源，不受本资源队列总量和剩余资源数量的限制。
• 当借用的空闲资源需要被原资源队列的任务使用时，闲时计算任务将会被终止，自动归还资源。

使用限制

1. 仅支持全托管资源池的训练任务。

使用步骤

创建任务开启使用闲时资源

1. 在百舸控制台选择 大规模训练与推理->分布式训练，单击 【创建任务】，进入分布式训练任务创建页面。
2. 在资源配置区域开启使用闲时资源。
   开启后，任务可以使用本队列的空闲资源，也可以使用同资源池内其他已开启空闲资源出借队列的空闲资源。系统调度时会优先使用本队列的空闲资源。

说明：

1. 使用闲时资源的任务能够使用其他队列的空闲资源，因此资源选择不受本 队列资源总量 限制，只要未超过资源池资源上限即可，但仍受以下限制：

   • 使用闲时资源的任务使用的资源型号，不能超出本队列限制。如本队列 GPU 仅有 A800，则创建使用闲时资源的任务也仅能申请 GPU A800 资源。
   • 如本队列中未分配 GPU 资源，则创建使用闲时资源的任务时也不能申请 GPU。
2. 任务调度优先级：本队列内非闲时任务高于闲时任务。
3. 闲时资源使用模式：任务可以使用本队列的空闲资源，也可以使用其他队列出借的空闲资源（队列已经开启空闲资源出借），也可以同时使用。系统在调度上优先使用本队列的空闲资源。
4. 资源回收说明：当借用的空闲资源需要被回收时，优先回收提交时间最晚的任务占用的资源。

配置告警

当闲时资源被回收时，您可配置任务告警通知策略，第一时间获取通知。任务状态选择闲时资源回收导致任务中断。闲时任务的资源被回收的记录，也可以通过任务timeline、任务事件查询

开启自动容错

使用闲时资源的任务，资源回收而导致任务被中断后，平台会尝试重新申请资源启动任务，请确认代码中包含 checkpoint 机制，确保任务可以顺利续跑。

极端情况下任务会直接失败退出，这里推荐开启 自动容错 - 无条件重试 能力进行兜底，详见 训练容错。

仅支持 PyTorchJob。

查询闲时任务资源回收情况

任务使用的闲时资源被回收后，在任务详情页面的实例状态会被标记为 被抢占。也可以通过任务timeline、任务事件查询闲时资源被收回的记录。