概述

TensorBoard 是一个用于可视化 TensorFlow 模型训练过程和结果的工具，可以帮助开发人员和研究人员更好地理解和调试模型，从而提高模型的性能和效率。百舸 AI 计算平台 AIHC 中集成了 Tensorboard 能力，本文档介绍如何在百舸 AI 计算平台 AIHC 中创建训练任务并开启 Tensorboard 服务，以及如何查询 Tensorboard。

前提条件

• 已登录百舸 AI 计算平台 AIHC 控制台。
• 已准备可用的资源池、训练队列及日志路径对应的存储资源。
• 如需查询 Tensorboard，需已有开启 Tensorboard 的训练任务。## 功能说明

1. 百舸 Tensorboard 服务使用百度云的鉴权体系进行安全访问限制，保证数据安全。
2. 为避免资源池残留大量 Tensorboard 实例，百舸对 Tensorboard 实例采用定时回收机制，默认保留 24 小时。如已经被回收，Tensorboard 实例会在下次查询时触发实时创建，预计需要 1 分钟。

使用限制

已经创建的训练任务，暂不支持开启 Tensorboard。

操作步骤

创建任务开启 Tensorboard 服务

1. 在百舸 AI 计算平台 AIHC 控制台，通过 大规模训练与推理->分布式训练 进入分布式训练任务列表页，点击 【创建任务】 按钮。
2. 在创建任务页面填写任务基础信息、环境信息、资源配置等必填项后，在 监控信息 区域，将 Tensorboard 开关切换为 开 状态。开启时平台会检测资源池依赖组件是否已安装；如未安装 Tensorboard 依赖组件，需按页面提示先完成依赖组件安装后再开启。

说明： 资源池内的训练任务，首次开启 Tensorboard，需要资源池安装 CCE Ingress NGINX Controller 组件，并会自动创建一个 BLB 作为 Tensorboard 服务的访问入口。后续此资源池内其他训练任务开启 Tensorboard，可以复用此 BLB。

3. 开启 Tensorboard 后，查看 日志路径 配置。日志路径由平台自动生成，默认路径为 /output/training_logs，支持通过 $AIHC_TENSORBOARD_LOG_PATH 环境变量在训练代码中引用。

注意： 请保持该路径与代码中的 Tensorboard 日志路径一致，否则 Tensorboard 无法获取数据。

4. 确认任务基础信息、环境信息、资源配置、日志路径等配置无误后，点击 【确定】 按钮，完成训练任务创建并开启 Tensorboard 服务。

查询 Tensorboard

训练任务开启 Tensorboard 后，可在百舸 AI 计算平台 AIHC 控制台进入任务关联的 Tensorboard 实例。

1. 在百舸 AI 计算平台 AIHC 控制台，通过 大规模训练与推理->分布式训练 进入分布式训练任务列表页。
2. 在目标训练任务的操作项中点击 【更多】 菜单，选择 【Tensorboard】 入口，跳转至 Tensorboard 面板。
3. 进入 Tensorboard 面板后，查看训练过程和分析报告。

已失败、成功、运行中的任务均支持通过 Tensorboard 查询训练效果。