概述

本文档介绍百舸 AI 计算平台对训练任务的管理，支持对训练任务执行停止、重跑、复制、删除等操作。

前提条件

• 如需停止训练任务，需准备处于运行中、启动中或排队中的训练任务。
• 如需复制或删除训练任务，需准备已有训练任务。
• 如需重跑训练任务，需准备处于失败或成功状态的训练任务。

操作步骤

1. 登录 百舸 AI 计算平台
2. 进入 大规模训练与推理->分布式训练 页面

停止训练任务

当您在任务提交后发现参数配置错误或者效果不符合预期，可以停止任务，释放资源。

操作步骤如下：

1. 在训练任务列表中，选择需要停止的任务，在操作栏单击 【停止】。
2. 停止后资源将被释放，仍可查看日志、监控和 TensorBoard 信息。

1. 任务运行阶段，停止训练任务，会保留 Worker 实例，仍然支持查看当前任务的日志、监控和 TensorBoard 数据。
2. 任务启动、排队阶段，停止训练任务，会删除 Worker 实例。此状态下操作停止，需要保证资源池中 CCE Deep Learning Frameworks Operator 组件版本在 1.6.22 及以上。如组件版本不满足要求，请按照页面提示完成升级。

复制训练任务

在大模型训练中，需要频繁调整参数以获得最佳训练效果，百舸控制台提供了任务复制功能。可快速复制当前任务信息，您可在当前任务基础上修改相关参数再次提交，提高模型训练效率。

操作步骤如下：

1. 在训练任务列表中，选择需要复制的任务，在操作栏单击 【复制】。

2. 系统跳转到任务创建页面，并自动填充当前任务相关信息。
3. 确认参数后，单击 【完成】，即可完成任务复制。

重跑训练任务

如果您的训练任务失败并且希望重新启动运行，可以使用重跑功能。

仅支持处于失败/成功状态的任务使用重跑功能。

1. 在训练任务列表中，选择需要重跑的任务，在操作栏 【更多】 中单击 【重跑】。

2. 系统会自动提交一个与原始任务除任务名称外，其他配置完全相同的任务。

   系统会自动生成任务名称，新的任务名称命名规则：原始任务名称-4 位随机字符。

3. 在创建后新任务的任务详情页面，可以在 任务重跑 字段中查看该任务的重跑信息，包括当前任务基于哪个最原始的任务重跑以及重跑次数。

4. 单击 重跑次数，可以查询详细的任务重跑记录。

删除训练任务

删除任务会同步释放任务使用的资源。

注意： 任务删除后无法恢复，请谨慎操作。

1. 在训练任务列表中，选择需要删除的任务，在操作栏 【更多】 中单击 【删除】。

2. 在删除确认弹窗中单击 【确认】，完成删除。