快速创建大模型训练任务
概述
本文档介绍使用百度百舸·AI 计算平台的准备工作和创建流程。首次使用百度百舸·AI 计算平台时，您可以参考本文完成资源池创建、队列创建、分布式训练任务创建以及监控查看等关键流程。
主要操作流程
- 注册百度智能云账号，并完成实名认证。请参考 注册 和 实名认证。
- 登录 百度百舸·AI计算管理控制台。
- 创建资源池。
- 创建队列。
- 创建分布式训练任务。
- 查看监控。
使用准备
在创建大模型训练任务前，您需要创建资源池，百舸为您提供了全托管资源池和自运维资源池，您可根据您的业务规模和需求选择资源池类型。
全托管资源池 为您提供稳定、易用的免运维资源池，您可更专注于模型训练；自运维资源池 为您提供稳定、高性能的计算集群，您可在平台全方位管理您的计算资源。
因当前产品限制，创建资源池需开通相应白名单。创建前可通过 工单 联系百度支持人员，确保当前账户已完成以下操作，否则无法创建和使用资源池。我们将在后续版本优化这一操作。
-
云服务器 BCC：
- 开通 A800 机型套餐白名单。
-
并行文件存储服务 PFS：
- 开通 PFS 产品白名单。
- 创建可用的 PFS 实例。
- 开通 ParentDir 白名单。
创建流程
第一步 创建资源池
资源池是百舸内部管理 AI 资源的基础单元，一个资源池对应一个 CCE 集群（计算服务）、一个 PFS 实例（存储服务）和一个 CProm 实例（监控服务）。本文以创建全托管资源池为例。
注意： 创建资源池会创建或关联计算、存储、监控等云资源，可能产生费用。提交订单前，请确认付费方式、节点数量、节点规格、账户余额和协议内容。1. 登录 百度百舸·AI计算平台 控制台，进入 AI 计算资源->全托管资源池，单击 【创建资源池】 进入 创建全托管资源池 页面。
- 配置基本信息。
- 资源池名称
- 备注
- 选择地域和可用区
- 配置网络信息
- 配置资源池网络
- 选择节点子网和容器子网
- 选择安全组
- 填写Cluster IP网段
- 配置节点信息
- 选择付费方式
- 选择节点规格
- 选择节点数量
- 选择使用时间
- 选择续费方式
- 选择关联服务 按需选择并行文件系统PFS和监控实例，监控实例也可后续再开通。
- 确认订单。 确认资源池配置信息，然后单击提交。
您也可以选择创建自运维资源池进行后续的大模型训练，创建请参考：创建自运维资源池。
第二步：创建队列
队列是一个资源池中部分资源的集合，用于工作负载（训练任务、在线服务、开发机）的运行。本文提供创建全托管资源池队列的操作方式。
- 登录百度百舸·AI 计算平台控制台后，进入 AI 计算资源->全托管资源池，切换到 【资源队列】 页签，单击 【创建资源队列】 进入创建页面。
- 在队列管理页面，点击 创建队列，并填写相关信息。
- 队列基本信息。
- 资源中节点分配信息。
- 若资源池中无节点，可以点击 添加节点 进行新增。
- 确定创建。 完成上述配置后，单击完成即可完成资源池中队列的创建。
如您选择自运维资源池创建队列，请参考：队列管理。
第三步：创建分布式训练任务
任务是百舸 AI 计算平台中最基本的执行单元，一个任务通常指一个 AI 模型的训练作业。
- 进入 大规模训练与推理->分布式训练 任务列表页面，单击 【创建任务】。
- 配置任务基础信息。
- 填写任务名称
- 选择资源池：资源池类型和对应资源池
- 选择队列：资源池下对应的队列
- 选择任务优先级
- 选择训练框架
- 选择是否开通日志持久化
- 选择创建方式：支持自定义创建和AIAK训练加速模板创建，选择模板后将自动填充好运行训练作业的配置信息，您可以按需修改。
- 环境配置
- 选择镜像地址，如您任务创建方式选择AIAK训练加速模板创建，则无需再次选择镜像地址；
- 填写执行命令，您也可以基于AIAK加速训练加速模板中执行命令进行修改；
- 设置环境变量
- 配置资源
- 选择实例数
- 选择是否申请加速芯片、加速芯片类型
- 填写CPU
- 填写共享内存
- 选择是否开启RDMA
- 配置数据源
- 根据关联文件系统填写挂载路径。
- 选择容错/诊断
- 选择是否配置任务hang检测
- 选择是否开启容错和容错策略
- 高级配置：百舸训练任务为您提供更多个性化高级配置
- 选择是否开启Tensorboard，如开启则需填写日志路径
- 选择是否开启任务退出后自动删除，如开启则需配置保留时长
- 选择是否开启告警，如开启则配置告警策略
- 选择是否定时提交训练任务，如开启则需指定定时提交时间
- 填写完成后，点击 完成，提交任务。至此，您已成功运行一个大模型训练任务。
第四步：查看训练任务详情
全托管资源池需要接入CPROM监控实例可查看资源池监控，可在列表页点击资源池名称，进入资源池详情页，点击 快速接入，创建监控实例。
若在创建资源池阶段已接入CPROM监控实例，可直接在资源池详情中，点击 资源观测 查看监控。
自运维资源池需要创建CPROM监控实例可进行监控查看，接入方式 接入监控实例并启用采集任务
训练任务各项监控和观测内容
用户可以通过在分布式训练列表页点击 监控和日志 按钮，或点击任务名称进入任务详情页，点击 任务监控/任务日志 查看任务的资源使用情况和任务日志。
百舸平台为训练任务提供了全面的可观测内容，用户可以多维度查看训练任务的各项指标： 任务日志、 任务事件、 任务资源监控、 任务性能监控、 任务集合通信带宽监控、 训练效果监控Tensorboard。
评价此篇文章