训练任务生命周期

更新时间：2026-10-21

概述

本文介绍分布式训练任务以及实例状态，帮助您更好地理解任务的运行状况。

状态	说明
排队中	Pod 已经被创建，但是还没有被调度到节点上。
启动中	Pod 已经被调度到节点，正在进行镜像拉取、存储挂载、创建容器等操作。
运行中	Pod 进入 running 状态，正在执行训练代码。
失败	Pod 失败退出。
成功	Pod 成功退出。
异常	Pod 状态未知。

状态	说明
排队中	任务已创建，等待调度阶段（允许修改优先级），实例未创建或者所有实例状态为 `排队中`。
启动中	Pod 调度完成，实例的状态均为 `启动中`，或者包含部分 `运行中` 的状态。
运行中	所有 Pod 均为 `运行中` 状态。
停止中	用户操作停止任务，任务正在停止，正在将实例置为 `失败` 或者删除实例。
已停止	任务已经停止，所有实例状态为 `已停止`。
失败	任务失败退出，存在>= 1 个实例状态为 `失败`。
成功	任务成功结束，所有实例状态为 `成功`。
异常	存在 >= 1 个实例状态为 `异常`。
重启中	任务容错或者被抢占，且所有实例状态为 `排队中`。

注意： 为确保资源的有效利用，避免因任务配置问题导致任务无法启动而长时间无效占用资源，平台针对 启动中 状态的任务设置了启动超时时间，默认 1 小时。启动超过 1 小时未进入运行态的任务，平台会自动将任务直接置为失败。当前仅针对 PyTorchJob 任务生效。

评价此篇文章

有帮助没帮助