自动故障隔离是百舸提供的节点故障检测&故障处理的能力，支持对节点的GPU/RDMA网卡/内存资源进行健康探测，针对于健康检查异常的节点进行故障上报以及自动隔离，并触发百度云运维系统的告警，由百度云运维团队介入处理。

功能说明

节点故障检测范围&故障处理

1. 故障检测范围：支持对节点的GPU/RDMA/CPU/内存等资源进行健康检查

2. 故障处理方式（不同的故障类型，故障处理的方式不同）：

   • 更新Node Condition：更新故障信息到 Node Condition
   • 打印节点事件：将故障的信息打印到节点的事件
   • 隔离节点：自动隔离故障节点

自动故障隔离设置

1. 支持设置同时执行隔离的节点个数

2. 支持按照资源池维度以及节点维度设置开启/关闭故障隔离：

   • 资源池维度：资源池所有节点开启/关闭自动故障隔离。
   • 节点维度：在资源池维度开启后，可以单独为某个节点设置关闭自动故障隔离。

使用前提

1. 当前仅支持产品类型为ebc、ehc的云服务器实例，暂不支持bcc和bbc产品类型。用户可以登陆云服务器控制台，通过查询实例规格，确定实例所属的产品类型。

操作指南

资源池开启自动故障隔离

1. 登录百舸异构计算平台AIHC控制台。
2. 在左侧菜单栏选择资源池，进入资源池列表页面，点击资源池名称，进入资源池详情页面。
3. 自动故障隔离选项，点击修改。
4. 在自动故障隔离弹窗中打开自动故障隔离开关，配置并发节点数（同时执行自愈操作节点个数）。
5. 点击确定，开启自动故障隔离功能。

开启后资源池中所有节点默认全部开启自动故障隔离功能。

指定节点关闭自动故障隔离

支持为指定的节点关闭故障隔离的功能。操作步骤如下：

1. 登录百舸异构计算平台AIHC控制台。
2. 在左侧菜单栏选择资源池，进入资源池列表页面，点击资源池名称，进入资源池详情页面。
3. 在左侧菜单栏选择节点管理，进入节点列表页面
4. 选择对应的节点，单击封锁设置，关闭 自动故障隔离开关
5. 点击确定，为此节点关闭自动故障隔离功能，即使系统检测到该节点的故障信息，仍不会自动隔离该节点。

查看自动隔离的节点信息

支持查询当前资源池已经被隔离的节点信息。

1. 登录百舸异构计算平台AIHC控制台。
2. 在左侧菜单栏选择资源池，进入资源池列表页面，点击资源池名称，进入资源池详情页面。
3. 在自动故障隔离选项处，展示当前自动隔离的故障节点个数
4. 鼠标移入后，浮窗显示被隔离节点的IP以及节点ID信息

手动操作被自动隔离的节点

节点被自动隔离后，若您需要解除节点的隔离状态，需要先关闭该节点的自动故障隔离功能，然后手动解除节点的隔离状态。

若未关闭该节点的自动故障隔离功能，手动解除节点隔离状态后，在下一个检测周期，系统仍然会自动隔离该节点