前提条件

• 已经开通CCE云原生AI服务。
• CUDA 11.2，Pytorch 1.8.1，TensorFlow 2.5.0，MxNet 1.8.0，如果AI应用是其他的版本，请提交工单。

操作流程

1.选择训练镜像

在CCR公共镜像的“百度智能云AI镜像” 中选择“Halo”加速镜像，作为训练基础镜像，该镜像内已安装了 CUDA、Python 3、PyTorch、Tensorflow、MxNet和AIAK-Training加速软件等。

2.组件安装

点击集群名称进入，点击组件管理->云原生AI，点击安装CCE Deep Learning Frameworks Operator组件和CCE AI Job Scheduler，点击确定。

3.任务提交

云原生AI->任务管理->新建任务

• 选择框架AITrainingJob，horovod。
• 选择训练方式：分布式。
• 选择角色：选择“Launcher”，同时需要指定pod的弹性范围。

• 容器组配置->生命周期->启动命令中配置如下需要的内容。

启用优化版分层Allreduce

 horovodrun  --nccl-hierarchical-allreduce [other-horovod-args] python [executable] [app-args]

horovodrun命令行通过传递 --nccl-hierarchical-allreduce 参数使能。

启用DGC稀疏化通信压缩算法

horovodrun --dgc \
           --compress-ratio 0.001 \
           --sample-ratio 0.01 \
           --clip-grad-func norm/value\
           --clip-grad-func-params 0.01 \
           ... ...
           [other-horovod-args] python [executable] [app-args]

其中，可配置DGC相关的参数有：

注：DGC压缩算法目前仅支持SGD优化器。

启用参数更新和梯度通信重叠

用户使能参数更新和梯度通信重叠功能，只需在horovodrun命令行里进行如下配置即可。

horovodrun --overlap-backward-and-step \
           --clip-grad-func norm/value\
           --clip-grad-func-params 0.01 \
           ... ...
           [other-horovod-args] python [executable] [app-args]

• 若用户在参数更新之前，需要进行梯度裁剪操作，可以通过设置clip_grad_func和 clip_grad_func_params两个参数来指定，此时用户在代码中的梯度裁剪调用需要移除。
• 若用户同时开启了DGC和参数更新和梯度通信重叠功能，并且指定了梯度裁剪方法，则梯度裁剪操作会在DGC中进行， 重叠过程中不进行梯度裁剪。
• 如果用户不开启参数更新和梯度通信重叠，无需指定梯度裁剪相关参数，指定也不会生效。

启用FusedOptimizer

用户使能优化器融合功能，只需在horovodrun命令行里进行如下配置即可。

horovodrun --fuse-optimizer
           ... ...
           [other-horovod-args] python [executable] [app-args]

注：目前fused optimizer与参数更新和梯度通信重叠两个功能暂不兼容。