使用百舸智能助手进行排队任务的诊断排查
更新时间:2026-10-21
概述
百舸智能助手是百舸 AI 计算团队提供的基于大模型的全新助手功能。当前百舸智能助手为您提供训练任务排队场景的智能诊断能力,旨在帮助客户分析训练任务正在排队等待的可能原因,并给出指导建议。
基于百舸训练可观测体系的监控指标,结合百舸在大模型领域积累的专家知识经验,通过大语言模型的分析推理能力,进行任务排队原因的根因定位,提供更智能的产品使用体验。
您可以在任务列表页面针对状态为 排队中 的任务,点击 【智能诊断】,唤起百舸智能助手,快速诊断分析任务排队的可能原因。
前提条件
首次使用百舸智能助手,需要完成服务授权操作,允许百舸助手访问资源池内节点的系统日志以及任务元数据、事件等相关数据。
使用限制
- 调度器版本在 1.7.27 以上。
- 当前任务排队超过 10 min 时才可以点击 【智能诊断】 按钮。
- 当前任务如果在 FIFO 队列中,只有队首任务才可以点击 【智能诊断】 按钮。
操作步骤
以下是在百舸控制台进行训练任务排队中智能诊断的步骤:
- 登录 百舸AI计算平台AIHC控制台。
- 在左侧菜单栏选择“分布式训练”,进入任务列表页面,当任务处于“排队中”状态超过10min后,可以点击 智能诊断。

- 点击目标任务操作列中的 【智能诊断】 后,页面会打开诊断浮窗。诊断结果包含任务基本信息、队列额度诊断、节点可用诊断、资源余量诊断 4 类信息,每个一级诊断项下会展示对应的二级诊断项。
- 在诊断浮窗中展开存在异常的诊断项,可查看推荐操作、帮助文档和详细原因。您可以根据推荐操作和帮助文档处理任务排队问题,也可以继续展开详细原因定位具体配置或资源约束。
详细诊断项列表
| 一级分类 | 二级子分类 | 详细说明 | 针对场景 |
|---|---|---|---|
| 队列额度诊断 | 资源池队列配额诊断 | 针对当前等待原因,提供提高队列设置配额、降低任务申请配额等推荐操作和详细方法,供客户选择。 | 队列配额管理等问题 |
| 队列额度诊断 | 资源池队列其他诊断 | 针对当前等待原因,提供选择正确队列配置等推荐操作和详细方法,供客户选择。 | 父队列非法提交、错误队列提交等问题 |
| 节点可用诊断 | 节点可用性诊断 | 针对当前等待原因,提供故障自愈功能等推荐操作和详细方法,供客户选择。 | 节点硬件故障、节点封锁与管理、任务亲和性与反亲和性调度、节点 NodeSelector 等问题 |
| 节点可用诊断 | 节点污点容忍诊断 | 针对当前等待原因,提供节点污点管理等推荐操作和详细方法,供客户选择。 | 节点物理队列、节点系统打污点、节点用户打污点等问题 |
| 资源余量诊断 | 存储资源挂载诊断 | 针对当前等待原因,提供检查挂载点、检查挂载配置信息等推荐操作和详细方法,供客户选择。 | PV/PVC 挂载点、不存在配置等问题 |
| 资源余量诊断 | EHC、RDMA 网卡诊断 | 针对当前等待原因,提供检查 RDMA 资源配置、满足 TOR 亲和性调度策略、处理前序任务等推荐操作和详细方法,供客户选择。 | 非法 RDMA 申请、无资源申请、跨 EHC 调度、TOR 策略等问题 |
| 资源余量诊断 | GPU 资源诊断 | 针对当前等待原因,提供整理集群资源碎片、处理前序任务和调整任务优先级等推荐操作和详细方法,供客户选择。 | 集群资源碎片、集群资源不足、资源描述符混用等问题 |
| 资源余量诊断 | 单节点 Pod 数上限诊断 | 针对当前等待原因,提供删除冗余 Pod 等推荐操作和详细方法,供客户选择。 | 可用 Pod 余量不足 |
| 资源余量诊断 | 其他资源诊断 | 针对当前等待原因,提供处理前序任务、调整任务优先级等推荐操作和详细方法,供客户选择。 | 子网 IP 不足、CPU 核数、内存大小、存储空间等问题 |
评价此篇文章
