1. 概述

本文档介绍如何在百度智能云容器引擎 CCE 中使用 GPU 虚拟化的隔离性最优型能力。通过本文档，您可以了解如何选择和配置 GPU 资源，按需使用 GPU 独占或共享模式，并在任务创建、镜像构建、运行验证与节点维护等环节中保证任务的稳定性和安全性。

2. 业务流程

3. 前提条件

在开始使用 GPU 虚拟化的隔离性最优型服务前，请先完成以下准备工作：

1. 已注册并登录百度智能云账号，且已创建可用的 CCE 集群。
2. 已在目标集群中安装 CCE GPU Manager、CCE Deep Learning Frameworks Operator 和 CCE AI Job Scheduler 组件。
3. 已按业务需求完成 GPU 节点的显存共享或 GPU 虚拟化配置。
4. 若您需要通过 YAML 创建任务或工作负载，请提前获取目标集群凭证，并确保对目标命名空间具备相应的工作负载创建权限。
5. 若您是子用户，请先完成所需的 IAM 与 RBAC 授权。

3.1 集群创建

可参考 集群创建 相关文档。

导航路径：产品服务->云原生->容器引擎 CCE->集群管理->集群列表

1. 登录百度智能云平台：

• 若没有用户名，请先完成注册，操作请参考注册百度账号。
• 若有用户名，登录操作请参考登录。

2. 登录成功后，选择“产品服务>云原生>容器引擎 CCE”，进入“集群管理>集群列表”页面。
3. （可选）“集群列表”页面会显示所有已创建的 CCE 集群名称/ID、状态、版本等信息，并且用户可以通过集群名称进行搜索集群的操作。
4. （可选）选择区域，请根据实际需求进行选择切换。容器引擎 CCE 服务目前支持华北—北京、华北—保定、华南-广州、华东-苏州、中国香港等区域。
5. 点击“创建集群”，进入“选择模板”界面，根据模板介绍结合业务需求选择模板。

• 默认单一区域下集群配额为20个，每个集群内节点配额为200个。
• 如有需求，可以提工单提升配额。

6. 点击“确认”，根据集群创建导航并结合业务需求配置。
7. 付费及地域

8. 基础配置

9. 网络配置

容器网络为独立的地址空间，须与节点网络、节点子网、其他集群的容器网络相互独立。

10. 节点配置

• 用户可以选择“新建节点”。

• 选择后点击添加节点，弹出“添加节点”对话框。

注意：在实例配置部分，若该节点想使用GPU虚拟化功能，配置时请参考隔离性最优型对应的GPU虚拟化适配表。为确保任务能够顺利创建，请根据适配表选择合适的实例，否则创建任务时识别不到不适配的GPU。

11. 服务器配置

3.2 安装必要组件：

导航路径：产品服务->云原生->容器引擎 CCE->集群管理->集群列表->目标集群->组件管理->云原生 AI

您需要在 【组件管理->云原生 AI】 中安装 CCE GPU Manager、CCE Deep Learning Frameworks Operator 和 CCE AI Job Scheduler 组件。

3.2.1 CCE GPU Manager组件：

组件参数说明：

3.2.2 CCE Deep Learning Frameworks Operator和CCE AI Job Scheduler 组件

进入组件管理部分安装即可

3.3 节点开启显存共享步骤：

1. 登录百度智能云官网，并进入管理控制台。
2. 选择“产品服务 > 云原生 > 容器引擎 CCE”，进入 集群管理 > 集群列表 。
3. 在集群列表页面中，单击目标集群名称进入集群管理页面。
4. 选择页面左侧 节点管理 > Worker ，进入节点列表页面。
5. 在节点列表中，选择需要设置显存共享的 GPU 节点，单击 开启显存共享。
6. 打开显存共享开关后单击 确定，完成设置显存共享。

3.4 批量打开节点的GPU虚拟化功能

方法一：批量针对已有节点添加虚拟化节点标签

1. 登录百度智能云官网，并进入管理控制台。
2. 选择“产品服务 > 云原生 > 容器引擎 CCE”，进入 集群管理 > 集群列表 。
3. 在集群列表页面中，单击目标集群名称进入集群管理页面。
4. 选择页面左侧 节点管理 > Worker ，进入节点列表页面。
5. 点击标签与污点管理进入

6. 点击编辑标签，输入标签键和值，点击确定

1标签键：cce.baidubce.com/gpu-share-device-plugin
2值：enable

方法二：使用节点组默认添加节点标签

1. 登录百度智能云官网，并进入管理控制台。
2. 选择“产品服务 > 云原生 > 容器引擎 CCE”，进入 集群管理 > 集群列表 。
3. 在集群列表页面中，单击目标集群名称进入集群管理页面。
4. 选择页面左侧 节点管理 > 节点组，进入节点组页面。
5. 点击 【创建节点组】。

6. 填写节点组基本配置。

配置 K8S 标签 时，请填写以下内容：

1标签键：cce.baidubce.com/gpu-share-device-plugin
2值：enable

3.5 获得RBAC授权

导航路径：请根据 配置 IAM 预置权限策略 与 配置预置 RBAC 权限策略 的指引进入对应授权页面。

注意： 若您是子用户，需先获得主账号或具有管理员权限的子用户授予的 RBAC 权限后，才能新建任务；若不是子用户，则无需执行本步骤。

1. 获得IAM授权。子用户需要先在IAM中至少被授予CCE的只读权限，详细的授权流程请参考配置IAM预置权限策略
2. 获得RBAC授权。详细的授权流程请参考配置预置RBAC权限策略

4. GPU 资源描述

4.1 GPU卡型号和资源名称

正确指定 GPU 卡型号对应的资源名称是使用 GPU虚拟化的隔离性最优型 的关键，在创建任务前，了解GPU资源配置和适配才可以正确的创建任务。若需指定 GPU 卡算力资源或显存资源，请在资源名称后加上“_core”或“_memory”。

以下是常见 GPU 卡型号及其对应的资源名称：

4.2 资源描述

5. 创建任务

用户可通过CCE控制台创建任务/工作负载或者YAML 创建任务/工作负载，可根据您的需求选择不同的方式创建。创建的细节如下文所示。

注意： 共享 GPU 场景下的镜像构建注意事项，请参考第 6 部分。

5.1. 在控制台创建任务

操作步骤(可参考云原生AI任务管理)

1. 登录百度智能云官网，并进入管理控制台。
2. 选择“产品服务 > 云原生 > 容器引擎 CCE”，单击进入容器引擎管理控制台。
3. 单击左侧导航栏中的集群管理 > 集群列表。
4. 在集群列表页面中，单击目标集群名称进入集群管理页面。
5. 在集群管理页面单击云原生AI > 任务管理。
6. 在任务管理页面单击新建任务。
7. 在新建任务页面中，完成任务基本信息配置：

7. 配置任务基本信息。

8. 配置代码信息。

9.完成数据相关信息配置：

• 设置数据源：当前同时支持数据集和持久卷声明。选择数据集时列出所有可用的数据集，选择后会同时选择与数据集同名的持久卷声明；使用持久卷声明时直接选择即可。

  10.点击“下一步”，进入容器相关配置。

11. 配置任务类型信息。

12. 配置容器组信息，必要时可同时完成高级设置。

5.1.1 单卡/多卡独占

• 当您指定GPU类型为独占GPU时，若希望任务使用整张GPU卡资源，操作步骤如下：

1. 选择 GPU 卡型号。
2. 输入 GPU 卡数量，范围为 [1~当前集群中单节点所含 GPU 卡最大数量]。

• 若希望任务仅使用CPU和内存资源，无需使用GPU资源，操作步骤如下：

GPU卡型号保持为空，仅输入所需CPU和内存资源量。

5.1.2 单卡共享（不进行算力隔离，仅显存隔离）

当您指定GPU类型为共享GPU时，若希望任务只进行显存隔离，算力无需隔离，操作步骤如下：

1. 选择 GPU 卡型号。
2. 算力开关关闭。
3. 输入所需 GPU 显存，范围为 [1~所选 GPU 卡显存大小]。

5.1.3 单卡共享（显存隔离和算力隔离）

当您指定GPU类型为共享GPU时，若希望任务同时进行显存隔离和算力隔离，操作步骤如下：

1. 选择GPU卡型号。
2. 打开算力开关，输入所需算力值百分比，百分比大小应为[5~100正整数]。
3. 再输入所需GPU显存，显存大小应为正整数，范围为[1~所选GPU卡显存大小]。

13. 配置任务高级信息。

14. 点击“完成”按钮，完成任务的新建。

5.2. 在控制台创建工作负载

若您通过CCE控制台创建工作负载（操作步骤可参考工作负载），您可在工作负载的容器配置中指定GPU类型为独占或共享。独占和共享的资源输入限制和上文中AI任务的创建一致。

5.3. 使用 YAML 创建任务/工作负载

可参考 云原生 AI 任务管理 与 工作负载。

导航路径：产品服务->云原生->容器引擎 CCE->集群管理->集群列表->目标集群

在使用 YAML 创建任务或工作负载前，请先获取目标集群凭证，并确保对目标命名空间具备相应创建权限。您可在 YAML 配置中指定所需 GPU 卡资源为独占或共享，示例如下。

备注：

1. 如使用Yaml的方式创建任务，调度器必须指定 schedulerName: volcano
2. GPU显存资源必须申请，且 baidu.com/v100_32g_cgpu_memory 和 baidu.com/v100_32g_cgpu_memory_percent只能填写一个，不可同时填写
3. 卡的资源名称根据第四部分资源描述填写，不同卡型号对应不同的资源名称。

5.3.1 单卡独占

1resources:
2  requests:
3    baidu.com/v100_32g_cgpu: 1 # 1 卡
4    cpu: "4"
5    memory: 60Gi
6  limits:
7    baidu.com/v100_32g_cgpu: 1 # limit 与 request 必须一致
8    cpu: "4"
9    memory: 60Gi

5.3.2 多卡独占

1resources:
2  requests:
3    baidu.com/v100_32g_cgpu: 2 # 2 卡
4    cpu: "4"
5    memory: 60Gi
6  limits:
7    baidu.com/v100_32g_cgpu: 2 # limit 与 request 必须一致
8    cpu: "4"
9    memory: 60Gi

5.3.3 单卡共享（不进行算力隔离，仅显存隔离）

1resources:
2  requests:
3    baidu.com/v100_32g_cgpu_memory: 10 # 10 GiB，可根据业务需求调整
4    cpu: "4"
5    memory: 60Gi
6  limits:
7    baidu.com/v100_32g_cgpu_memory: 10
8    cpu: "4"
9    memory: 60Gi

5.3.4 单卡共享（显存隔离和算力隔离）

1resources:
2  requests:
3    baidu.com/v100_32g_cgpu_core: 50 # 50%，即 0.5 卡算力，可根据业务需求调整
4    baidu.com/v100_32g_cgpu_memory: 10 # 10 GiB，可根据业务需求调整
5    cpu: "4"
6    memory: 60Gi
7  limits:
8    baidu.com/v100_32g_cgpu_core: 50
9    baidu.com/v100_32g_cgpu_memory: 10
10    cpu: "4"
11    memory: 60Gi

5.3.5 单容器多卡能力（GPU 显存 / 算力同时隔离与仅显存隔离）

通过指定资源描述符使用sGPU的单容器多卡能力，分为GPU显存/算力同时隔离以及仅隔离显存的场景。

1. GPU显存/算力同时隔离

单张共享卡的资源：

• 每张 GPU卡的算力资源：baidu.com/xxx_xxx_cgpu_core/baidu.com/xxx_xxx_cgpu
• 每张 GPU卡的显存资源：baidu.com/xxx_xxx_cgpu_memory/baidu.com/xxx_xxx_cgpu

资源描述示例，如下示例代表：该Pod共申请50%的算力，以及10GiB的显存，2张GPU共享卡。所以每张GPU共享卡的资源为 25%的算力以及5GiB显存。

1resources:
2  limits:
3    baidu.com/a10_24g_cgpu: "2"
4    baidu.com/a10_24g_cgpu_core: "50"
5    baidu.com/a10_24g_cgpu_memory: "10"

2. GPU显存隔离，算力共享

单张共享卡的资源：

• 每张 GPU卡的算力资源：与其他容器共享100%的算力。
• 每张 GPU卡的显存资源：baidu.com/xxx_xxx_cgpu_memory/baidu.com/xxx_xxx_cgpu

资源描述示例，如下示例代表：该Pod共申请10GiB的显存，2张GPU共享卡。所以每张GPU共享卡的资源为 共享100%的算力以及5GiB显存。

1resources:
2  limits:
3    baidu.com/a10_24g_cgpu: "2"
4    baidu.com/a10_24g_cgpu_memory: "10"

3. 使用限制

• 单卡的显存 / 算力必须为正整数。即算力（baidu.com/xxx_xxx_cgpu_core / baidu.com/xxx_xxx_cgpu）与显存（baidu.com/xxx_xxx_cgpu_memory / baidu.com/xxx_xxx_cgpu）均需为正整数。
• 单卡的显存 / 算力需大于等于对应资源的最小单位。
• 如果没有申请 _cgpu_memory 或 _cgpu_memory_percent，则不允许申请 _cgpu_core。
• 显存隔离最小单位为 1 GiB。
• 算力隔离最小单位为 5%。

6. 共享GPU场景下的镜像构建注意事项

1. 在共享GPU场景下，您在创建任务选择镜像时，需要注意该镜像的环境变量。

以下环境变量会由 GPU Manager的组件进行注入，请不要添加到镜像的环境变量里面：

2. 构建镜像时，请不要直接将集群中运行的 GPU 容器保存为镜像使用，此种方式保存的镜像会包含GPU Manager组件注入的环境变量，造成虚拟化功能不符合预期或者不可用。

7. (可选）验证GPU虚拟化的隔离效果

您在完成以上操作后，若您想验证被共享的GPU是否按照所设置的隔离参数运行，可通过以下步骤查看。

1. 登录百度智能云官网，并进入管理控制台。
2. 选择“产品服务 > 云原生 > 容器引擎 CCE”，单击进入容器引擎管理控制台。
3. 单击左侧导航栏中的集群管理 > 集群列表。
4. 在集群列表页面中，单击目标集群名称进入集群管理页面。
5. 在集群管理页面单击工作负载>容器组。
6. 单击您要查看的Pod名称

7. 点击WebSSH,指令类型选择/bin/sh,点击连接

8. 输入命令行：nvidia-smi，按下回车键

8. 关闭显存共享

1.关闭显存共享功能的限制条件

已开启显存共享功能的节点需要关闭显存共享功能时，系统会验证当前节点上是否有正在运行的显存共享任务，需等该节点所有显存共享任务都运行完成后才能够关闭显存共享功能，否则可能导致显存共享任务中断或任务结束时无法正常回收资源，影响节点上的后续任务。

您可以通过2、3提供的命令查看开启了显存共享的节点和查看该节点上显存共享任务的情况。

2.查询开启显存共享的节点

1kubectl get nodes -l cce.baidubce.com/gpu-share-device-plugin=enable

该命令会列出开启了显存共享功能的所有节点，这些节点上都有标签cce.baidubce.com/gpu-share-device-plugin:enable。

3.查询运行显存共享任务的Pods

1kubectl get pods --all-namespaces -o json | jq -r '.items[] | select(.status.phase=="Running") | select(.spec.containers[].resources.limits // empty | keys[] // empty | test("baidu.com/.*(_core|_memory|_memory_percent)$")) | "\(.metadata.name) \(.spec.nodeName)"' | sort | uniq

该命令会列出所有在运行状态且使用了显存共享功能的 Pods，以及它们所在的节点。这些节点都无法马上关闭显存共享功能，需要等这些Pods结束以后才能关闭节点显存共享功能。

4.使用label命令修改节点标签的风险

除控制台方式外，可以使用kubectl label nodes命令来修改节点标签为cce.baidubce.com/gpu-share-device-plugin:disable，关闭节点的显存共享功能，修改前请关注以下风险：

• 业务中断：修改节点标签之后会触发非共享场景的环境安装，导致正在运行的显存共享任务中断或者结束时无法正常回收资源，影响节点上的后续任务。
• 调度失败：修改标签之后，调度器可以向该节点调度非共享类型的任务，可能存在单机同时运行两种类型的任务，会有错卡，共享显存功能异常等问题。

为了避免这些风险，请始终确保集群中的节点标签正确地反映节点的能力，并且只有在确定节点上没有正在运行的显存共享任务时，再关闭节点显存共享功能。