概述

本文档介绍百舸平台大模型并行训练场景下的 RDMA 网络高精度监控能力。大模型训练场景中，通常会使用并行训练策略，降低训练过程中的通信开销，加速训练效率。为方便高效地观测和排查大模型并行训练通信中的问题，百舸平台提供高精度 RDMA 网络监控能力，最高支持 10ms 精度，为故障诊断排除、训练性能调优等提供数据支撑。

监控指标说明

前提条件

1. 资源池内 CCE Deep Learning Frameworks Operator 组件版本 >= 1.6.17。查询组件版本或者升级组件版本，可以通过 百舸资源池详情 > 计算资源集群（CCE) > 组件管理 操作。
2. 资源池已经接入百度云 Prometheus 监控服务。请参考 资源池接入 Prometheus 监控实例。
3. 创建训练任务前，已准备支持 RDMA 的 GPU 资源和可用队列。

使用限制

1. 仅支持满足如下条件的任务开启高精度监控：

• 任务实例数 >= 2 个。
• 任务开启 RDMA 加速。

2. RDMA 网卡监控（250ms 精度）的监控指标保留最近 30 天，RDMA 网卡监控（10ms 精度）仅保留最近 1 天。

操作步骤

1.创建训练任务&开启高精度监控

1. 登录 百舸AI计算平台AIHC控制台。
2. 点击 左侧菜单栏 分布式训练 ，进入训练任务创建页面
3. 点击 创建任务，进入创建任务页面
4. 在 创建任务 > 高级设置 模块中，开启 RDMA高精度监控
5. 点击 完成 即完成任务创建。

2 .查看高精度监控

1. 进入训练任务列表页面，选择需要查询的训练任务，单击 监控 > 高精度监控，即可查询该任务的高精度RDMA监控指标。