训练任务资源监控
概述
本文档介绍如何在百舸平台查询训练任务监控。百舸平台针对训练任务的资源使用提供全面的监控指标，帮助您掌握训练任务的资源负载情况。
前提条件
查询入口
- 登录 百舸控制台。
- 左侧菜单栏单击 分布式训练，进入训练任务列表页面
- 选择需要查询的训练任务，单击 监控，即可查询该任务的监控大盘
监控指标及说明
当前任务资源监控主要支持任务维度、实例维度、GPU 卡维度、RDMA 网卡维度以及节点维度的监控。
任务维度
| 面板组 |
指标 |
描述 |
| GPU |
GPU 算力使用率（任务维度） |
指定任务的 GPU 算力使用率 |
| GPU |
GPU 显存使用率（任务维度） |
指定任务的 GPU 显存使用率 |
| GPU |
GPU SM 设备使用率（任务维度） |
指定任务的 GPU 设备 SM 处于 Active 的比例 |
| GPU |
PCIE 发送数据速率（任务维度） |
指定任务的 GPU 设备 PCIE 上的发送数据速率 |
| GPU |
PCIE 接收数据速率（任务维度） |
指定任务的 GPU 设备 PCIE 上的接收数据速率 |
| GPU |
NVLink 发送数据速率（任务维度） |
指定任务的 GPU 设备 NVLink 上的发送数据速率 |
| GPU |
NVLink 接收数据速率（任务维度） |
指定任务的 GPU 设备 NVLink 上的接收数据速率 |
| GPU |
GPU 功耗（任务维度） |
指定任务的 GPU 设备功耗 |
| GPU |
GPU 温度（任务维度） |
指定任务的 GPU 设备温度 |
| GPU |
GPU Tensor pipe 使用率（任务维度） |
指定任务的 GPU 设备 Tensor pipe 处于 Active 的周期分数，较高的值表示 Tensor Cores 的利用率较高 |
| 网络 |
RDMA 网卡健康状态（任务维度） |
指定任务的 RDMA 网卡状态（100% 为健康，低于 100% 为部分异常） |
| 网络 |
RDMA 网卡发送端丢包速率（任务维度） |
指定任务的 RDMA 网卡发送端丢包速率 |
| 网络 |
RDMA 网卡接收端丢包速率（任务维度） |
指定任务的 RDMA 网卡接收端丢包速率 |
| 网络 |
RDMA 网卡接收数据速率（任务维度） |
指定任务的 RDMA 网卡的接收数据速率 |
| 网络 |
RDMA 网卡发送数据速率（任务维度） |
指定任务的 RDMA 网卡的发送数据速率 |
| 网络 |
RDMA 网卡发送包速率（任务维度） |
指定任务的 RDMA 网卡的发送包速率 |
| 网络 |
RDMA 网卡接收包速率（任务维度） |
指定任务的 RDMA 网卡的接收包速率 |
| CPU/内存 |
CPU 使用率（任务维度） |
指定任务的 CPU 使用率（占节点） |
| CPU/内存 |
内存使用率（任务维度） |
指定任务的内存使用率（占节点） |
| 存储 |
磁盘设备读/写速率（任务维度） |
指定任务的磁盘读/写数据的速率 |
| 存储 |
磁盘设备读/写 IO 速率（任务维度） |
指定任务的磁盘读/写数据的 IOPS |
实例维度
| 面板组 |
指标 |
描述 |
| GPU |
GPU 算力使用率（Pod 维度） |
指定 Pod 的 GPU 算力使用率 |
| GPU |
GPU 显存使用率（Pod 维度） |
指定 Pod 的 GPU 显存使用率 |
| GPU |
GPU SM 设备使用率（Pod 维度） |
指定 Pod 的 GPU 设备 SM 处于 Active 的比例 |
| GPU |
PCIE 发送数据速率（Pod 维度） |
指定 Pod 的 GPU 设备 PCIE 上的发送数据速率 |
| GPU |
PCIE 接收数据速率（Pod 维度） |
指定 Pod 的 GPU 设备 PCIE 上的接收数据速率 |
| GPU |
NVLink 发送数据速率（Pod 维度） |
指定 Pod 的 GPU 设备 NVLink 上的发送数据速率 |
| GPU |
NVLink 接收数据速率（Pod 维度） |
指定 Pod 的 GPU 设备 NVLink 上的接收数据速率 |
| GPU |
GPU 功耗（Pod 维度） |
指定 Pod 的 GPU 设备功耗 |
| GPU |
GPU 温度（Pod 维度） |
指定 Pod 的 GPU 设备温度 |
| GPU |
GPU Tensor pipe 使用率（Pod 维度） |
指定 Pod 的 GPU 设备 Tensor pipe 处于 Active 状态的周期分数，较高的值表示 Tensor Cores 的利用率较高 |
| 网络 |
RDMA 网卡健康状态（Pod 维度） |
指定 Pod 的 RDMA 网卡状态（100% 为健康，低于 100% 为部分异常） |
| 网络 |
RDMA 网卡发送端丢包速率（Pod 维度） |
指定 Pod 的 RDMA 网卡发送端丢包速率 |
| 网络 |
RDMA 网卡接收端丢包速率（Pod 维度） |
指定 Pod 的 RDMA 网卡接收端丢包速率 |
| 网络 |
RDMA 网卡接收数据速率（Pod 维度） |
指定 Pod 的 RDMA 网卡的接收数据速率 |
| 网络 |
RDMA 网卡发送数据速率（Pod 维度） |
指定 Pod 的 RDMA 网卡的发送数据速率 |
| 网络 |
RDMA 网卡发送包速率（Pod 维度） |
指定 Pod 的 RDMA 网卡的发送包速率 |
| 网络 |
RDMA 网卡接收包速率（Pod 维度） |
指定 Pod 的 RDMA 网卡的接收包速率 |
| CPU/内存 |
CPU 使用率（Pod 维度） |
指定 Pod 的 CPU 使用率（占节点） |
| CPU/内存 |
CPU 使用量（Pod 维度） |
指定 Pod 的 CPU 使用量 |
| CPU/内存 |
内存使用率（Pod 维度） |
指定 Pod 的内存使用率（占节点） |
| CPU/内存 |
内存使用量（Pod 维度） |
指定 Pod 的内存使用量 |
| 存储 |
磁盘设备读/写速率（Pod 维度） |
指定 Pod 的磁盘读/写数据的速率 |
| 存储 |
磁盘设备读/写 IO 速率（Pod 维度） |
指定 Pod 的磁盘读/写数据的 IOPS |
GPU 卡维度
| 指标 |
描述 |
| GPU 算力使用率（卡维度） |
GPU 设备算力使用率 |
| GPU 显存使用率（卡维度） |
GPU 设备显存使用率 |
| GPU 显存使用量（卡维度） |
GPU 设备显存使用量 |
| GPU SM 设备使用率（卡维度） |
GPU 设备 SM 处于 Active 的比例 |
| PCIE 发送数据速率（卡维度） |
GPU 设备 PCIE 上的发送数据速率 |
| PCIE 接收数据速率（卡维度） |
GPU 设备 PCIE 上的接收数据速率 |
| NVLink 发送数据速率（卡维度） |
GPU 设备 NVLink 上的发送数据速率 |
| NVLink 接收数据速率（卡维度） |
GPU 设备 NVLink 上的接收数据速率 |
| GPU 功耗（卡维度） |
GPU 设备功耗 |
| GPU 温度（卡维度） |
GPU 设备温度 |
| GPU Tensor pipe 使用率（卡维度） |
GPU 设备 Tensor pipe 平均处于 Active 状态的周期分数，较高的值表示 Tensor Cores 的利用率较高 |
RDMA 网卡维度
| 指标 |
描述 |
| RDMA 网卡健康状态（网卡维度） |
RDMA 网卡状态（1 为健康，0 为异常） |
| RDMA 网卡发送端丢包速率（网卡维度） |
RDMA 网卡发送端丢包速率 |
| RDMA 网卡接收端丢包速率（网卡维度） |
RDMA 网卡接收端丢包速率 |
| RDMA 网卡接收数据速率（网卡维度） |
RDMA 网卡的接收数据速率 |
| RDMA 网卡发送数据速率（网卡维度） |
RDMA 网卡的发送数据速率 |
| RDMA 网卡发送包速率（网卡维度） |
RDMA 网卡的发送包速率 |
| RDMA 网卡接收包速率（网卡维度） |
RDMA 网卡的接收包速率 |
节点维度
| 面板组 |
指标 |
描述 |
| Overview |
节点状态 |
节点的健康状态，1 表示健康，0 表示异常 |
| GPU |
GPU 算力使用率（节点维度） |
指定节点的 GPU 设备算力使用率 |
| GPU |
GPU 显存使用率（节点维度） |
指定节点的 GPU 设备显存使用率 |
| GPU |
GPU SM 设备使用率（节点维度） |
指定节点的 GPU 设备 SM 处于 Active 的比例 |
| CPU/内存 |
CPU 使用率（节点维度） |
指定节点的 CPU 使用率 |
| CPU/内存 |
CPU 使用量（节点维度） |
指定节点的 CPU 使用量 |
| CPU/内存 |
内存使用率（节点维度） |
指定节点的内存使用率 |
| CPU/内存 |
内存使用量（节点维度） |
指定节点的内存使用量 |
| 磁盘 |
磁盘分区存储空间总容量/已使用容量/使用率 |
指定节点磁盘分区存储空间总容量/已使用容量/使用率 |
| 磁盘 |
磁盘分区 inode 总数量/已使用量/使用率 |
指定节点磁盘分区 inode 总数量/已使用量/使用率 |
| 磁盘 |
磁盘设备读速率（节点维度） |
指定节点上磁盘设备读速率 |
| 磁盘 |
磁盘设备写速率（节点维度） |
指定节点上磁盘设备写速率 |
| 磁盘 |
磁盘设备 IO 利用率（节点维度） |
指定节点上磁盘设备 IO 利用率 |
| 磁盘 |
磁盘设备读 IO 速率（节点维度） |
指定节点上磁盘设备读 IO 速率 |
| 磁盘 |
磁盘设备写 IO 速率（节点维度） |
指定节点上磁盘设备写 IO 速率 |
