训练任务事件
更新时间：2026-10-21
概述
本文档介绍如何查询训练任务的事件信息。任务事件包括任务在启动和运行阶段，任务以及关联资源的变更情况，可以弥补资源监控在实时性和场景上的欠缺，有助于运维人员日常观察任务变更以及定位问题。
前提条件
- 已创建分布式训练任务，并具备查看该任务详情的权限。
操作步骤
- 登录 百舸 AI 计算平台 AIHC 控制台。
- 在导航栏选择 大规模训练与推理->分布式训练，进入 任务列表 页面。
- 在任务列表中，单击需要查看事件的 任务名称，进入任务详情页面。
- 单击 【任务事件】 页签，查看事件信息。
训练任务事件字段定义如下：
| 参数 | 说明 |
|---|---|
| 首次出现时间（FIRST SEEN） | 事件首次出现的时间。 |
| 最后出现时间（LAST SEEN） | 事件最后出现的时间。 |
| 事件类型（TYPE） | 标记任务级别，取值为 Normal 或 Warning。 |
| 资源类型/名称（OBJECT） | 事件所涉及的对象以及对象名称。 |
| 原因（REASON） | 当前发生事件的简短描述，一般为枚举值，主要在程序内部使用。 |
| 消息（MESSAGE） | 当前发生事件的详细描述信息。 |
| 事件源（SOURCE） | 报告此事件的组件，如 Scheduler、Kubelet 等。 |
| 出现次数（COUNT） | 事件发生的次数。 |
任务事件中支持的对象如下：
如训练任务失败，用户可以通过训练任务事件，查询任务所在的节点是否有故障事件，初步排除或定位节点故障的原因。
| 参数 | 说明 |
|---|---|
| job | 任务自身事件。 |
| podgroup | 任务基于 volcano 调度时，关联的 podgroup 事件。 |
| pod | 任务创建的 pod 事件。 |
| service | pytorchjob 或 mpijob 自动创建的 service 事件。 |
| pv/pvc | 用户关联存储卷 pv/pvc 时，展示对应事件。 |
| node | 任务所在节点的故障或运维事件。除原生的节点事件外，百舸通过 Node Problem Detector / Node Remedier 组件，拓展了包含节点故障信息以及运维信息的事件。 |
评价此篇文章