# 下载 miniconda
wget http://mirrors.baidubce.com/anaconda/archive/Anaconda3-2023.03-Linux-x86_64.sh

#安装 miniconda 到 PFS 目录，默认pfs挂载路径为 /mnt/cluster为共享文件
bash Anaconda3-2023.03-Linux-x86_64.sh -p /mnt/cluster/test/conda
# -p 参数指定为 conda 安装的目录 prefix，需指定一个 PFS 的路径
# 最后一步会提示输入 yes 在 .bashrc 中默认初始化 conda 环境

# 初始化conda
source /mnt/cluster/test/conda/etc/profile.d/conda.sh

# 创建名为 ds 的 conda 环境，指定python版本
conda create --name ds python=3.8
# 激活此 conda 环境
conda activate ds
# 为该环境安装 pip，后续则可使用 pip 在次环境安装依赖
conda install pip

# 安装前检查 pip 源是否为百度源
pip config list
# 如果不是百度源执行下面命令
pip config set global.index-url http://mirrors.baidubce.com/pypi/simple
pip config set global.extra-index-url http://mirrors.baidubce.com/pypi/simple

# 安装 torch + deepspeed
pip install torch -i http://mirrors.baidubce.com/pypi/simple/ --trusted-host mirrors.baidubce.com
pip install deepspeed -i http://mirrors.baidubce.com/pypi/simple/ --trusted-host mirrors.baidubce.com

# 在激活的 conda 环境中安装 ipykernel，它允许你将这个环境添加为 Jupyter Notebook 的内核
conda install ipykernel
# 将 Conda 环境添加为 Jupyter 内核
python -m ipykernel install --user --name ds --display-name "Python (ds)"
# --name myenv 是内核的名称。
#--display-name "Python (ds)" 是在 Jupyter Notebook 中显示的名称。

# 使用 DeepSpeed example 代码，放到 PFS 的 /mnt/cluster/test/code 目录
# cd /mnt/cluster/test/code
# git clone https://github.com/microsoft/DeepSpeedExamples.git

cd /home/jovyan/bd/linux-bcecmd-0.4.6
./bcecmd bos cp bos://cce-ai-datasets/DeepSpeedExamples/DeepSpeedExamples.tar.gz /mnt/cluster/test/code
tar -xvf /mnt/cluster/test/code/DeepSpeedExamples.tar.gz

cd /mnt/cluster/code/DeepSpeedExamples/benchmarks/communication
torchrun all_reduce.py

#!/bin/bash

# -------------------------------
# 在原有的启动脚本中增加以下加载conda环境的命令，其他命令保持不变
# 初始化 PFS 中的 conda
source /mnt/cluster/test/conda/etc/profile.d/conda.sh
# 激活与开发机上相同conda 环境ds
conda activate ds
# -------------------------------

cd /mnt/cluster/test/code/DeepSpeedExamples/benchmarks/communication

torchrun --nnodes $WORLD_SIZE --node-rank $RANK --nproc-per-node 8 --master-addr $MASTER_ADDR --master-port $MASTER_PORT all_reduce.py --warmups 5 --trials 200 --dist torch --maxsize=28 --debug --scan

apiVersion: "kubeflow.org/v1"
kind: PyTorchJob
metadata:
  name: ds-nccl-test # 任务名称，提交不同任务时需修改不同的任务名
  namespace: default
spec:
  pytorchReplicaSpecs:
    Master:
      replicas: 1 # 分布式任务中 Master 数量固定 1，就是 RANK=0 的特殊 Worker 也参与计算
      restartPolicy: OnFailure
      template:
        spec:
          containers:
            - name: pytorch
              image: registry.baidubce.com/cce-ai-native/pytorch:22.08-py3-ds-example
              resources:
                limits:
                  nvidia.com/gpu: 8
                  rdma/hca: "1"
              env:
                - name: NCCL_DEBUG
                  value: INFO
              command:
              - /bin/bash
              - /mnt/cluster/test/run.sh # 启动脚本位于 PFS
              volumeMounts:
                - mountPath: /dev/shm
                  name: shm
                - mountPath: /mnt/cluster # PFS 存储在容器中的挂载点，与开发机挂载保持一致
                  name: data
              securityContext:
                capabilities:
                  add: ["IPC_LOCK"]
          schedulerName: volcano
          volumes:
            - hostPath:
                path: /dev/shm
              name: shm
            - name: data
              persistentVolumeClaim:
                claimName: pvc-pfs
    Worker:
      replicas: 3 # 此处可修改为期望的 Worker 数量，此例为 Master+Worker (1+3)*8 共 32 张卡
      restartPolicy: OnFailure
      template:
        spec:
          containers:
            - name: pytorch
              image: registry.baidubce.com/cce-ai-native/pytorch:22.08-py3-ds-example
              env:
                - name: NCCL_DEBUG
                  value: INFO
              resources:
                limits:
                  nvidia.com/gpu: "8"
                  rdma/hca: "1"
              command:
              - /bin/bash
              - /mnt/cluster/test/run.sh # 启动脚本位于 PFS
              volumeMounts:
                - mountPath: /dev/shm
                  name: shm
                - mountPath: /mnt/cluster # PFS 存储在容器中的挂载点，与开发机挂载保持一致
                  name: data
              securityContext:
                capabilities:
                  add: ["IPC_LOCK"]
          schedulerName: volcano
          volumes:
            - hostPath:
                path: /dev/shm
              name: shm
            - name: data
              persistentVolumeClaim:
                claimName: pvc-pfs

#!/bin/bash

# -------------------------------
# 在原有的启动脚本中增加以下加载conda环境的命令，其他命令保持不变
# 初始化 PFS 中的 conda
source /mnt/cluster/test/conda/etc/profile.d/conda.sh
# 激活与开发机上相同conda 环境ds
conda activate ds
# -------------------------------

cd /mnt/cluster/test/code/DeepSpeedExamples/benchmarks/communication

torchrun --nnodes $WORLD_SIZE --node-rank $RANK --nproc-per-node 8 --master-addr $MASTER_ADDR --master-port $MASTER_PORT all_reduce.py --warmups 5 --trials 200 --dist torch --maxsize=28 --debug --scan

# 登录百度容器镜像服务
# 示例 docker login --username=<百度智能云用户名> <实例名称>-<公网或私有网络访问域名>
docker login --username=xxxxxx ccr-2p9lyswe-pub.cnc.bj.baidubce.com

#启动docker容器
docker run  -itd --net=host --ipc=host --name llm_test --runtime=nvidia registry.baidubce.com/aihc-aiak/aiak-training-llm:ubuntu22.04-cu12.3-torch2.2.0-py310-bccl1.2.4.1_v2.0.1.0_release /bin/bash
#进入docker容器
docker exec -it llm_test bash

#安装deepspeed库（使用百度镜像源加速）
pip3 install deepspeed -i http://mirrors.baidubce.com/pypi/simple/ --trusted-host mirrors.baidubce.com
#下载测试代码，放在/workspace下
git clone https://github.com/microsoft/DeepSpeedExamples.git
#退出容器
exit

#将当前容器打包成镜像存到本地仓库
docker commit llm_test pytorch:v1.0
#查看本地镜像列表，会有名为pytorch的镜像
docker images 
#标记本地pytorch镜像，镜像id：0b8cffe6e027
docker tag 0b8cffe6e027 ccr-2p9lyswe-pub.cnc.bj.baidubce.com/test-bj/pytorch:v1.0
#将标记后镜像推送至实例镜像仓库
docker push ccr-2p9lyswe-pub.cnc.bj.baidubce.com/test-bj/pytorch:v1.0

# 下载bcecmd程序
wget https://doc.bce.baidu.com/bce-documentation/BOS/linux-bcecmd-0.3.8.zip
# 解压
unzip linux-bcecmd-0.3.8.zip
cd linux-bcecmd-0.3.8

# 数据及模型下载用以下命令
# 下载测试数据集
./bcecmd --conf-path conf bos sync bos://cce-ai-datasets/cce-ai-datasets.bj.bcebos.com/megatron_llama/pile_llama_test/ /mnt/cluster/llama/pile_llama_test/
# 下载模型参数权重
./bcecmd --conf-path conf bos sync bos://cce-ai-datasets/cce-ai-datasets.bj.bcebos.com/megatron_llama/megatron_llama_7b_checkpoint_tp1_pp1_dp8_zero1/ /mnt/cluster/llama/megatron_llama_7b_checkpoint_tp1_pp1_dp8_zero1/
# 下载tokenizer
./bcecmd --conf-path conf bos sync bos://cce-ai-datasets/cce-ai-datasets.bj.bcebos.com/megatron_llama/llama_tokenizer/ /mnt/cluster/llama/tokenizer/