概述

本文档介绍在百度百舸 · AI 计算平台中配置训练任务低利用率自动停止策略的方法。

在分布式训练任务量大、集群资源紧张的场景下，队列管理员可通过该策略自动停止低利用率训练任务，减少算力闲置浪费，降低训练成本，提升集群整体资源利用率与任务调度效率。

使用说明

• 支持全托管资源池和自运维资源池的队列
• 仅支持队列管理员、资源池管理员开启该策略
• 自动停止策略作用维度为队列，即仅对配置的队列任务生效

使用步骤

1. 登录百度百舸 · AI 计算平台，进入 AI 计算资源->全托管资源池->资源队列。

   

2. 点击目标队列名称进入队列详情，进入 【队列配置】 Tab页面，策略默认关闭，关闭状态下，队列成员创建的训练任务不会被该策略自动停止。开启低利用率自动停止策略，在弹窗内配置触发规则。

3. 配置规则。
   对于每个资源队列，您可以配置两条通过或逻辑连接的规则组，每个规则组内部通过与逻辑连接。

   • 或逻辑：满足任意一个规则组即可触发自动停止。
   • 与逻辑：满足规则组内所有条件才会触发自动停止。

   
   您可以按运行时长、GPU 资源利用率等条件配置规则组，使队列中的训练任务在满足低利用率自动停止规则时被自动停止。
   您也可以通过配置排除策略来实现高优先级任务豁免，来避免一些长期任务因为训练中周期性/不同原因导致的低利用率触发关闭规则。
   如下图所示，队列中高、中优先级的任务都不会因为触发规则而关闭任务

   

4. 查看被停止的任务
   队列管理员可以点击【停止记录】按钮来查看该队列触发规则停止的任务记录列表。

   

   同时，被自动停止的任务，在任务timeline以及任务状态的浮窗可以看到任务被停止的原因