产品概述

通过虚拟化技术将一张物理 GPU 卡切分为多个相互隔离的实例，支持开发机、训练任务、推理服务以 0.x 卡 的粒度申请资源，从而实现算力与显存的精细化分配。

核心价值

• 成本优化：支持单卡多任务并行，显著提升碎片化资源的利用率。
• 强隔离性：提供显存隔离与算力限制，确保任务间互不干扰。
• 场景覆盖：全面支持开发、训练、推理全流程业务。

虚拟化方案对比

百舸当前提供两种主流的虚拟化方案，您可以根据具体的芯片型号和隔离需求进行选择：

特性	sGPU 虚拟化	MIG 虚拟化
技术实现	百度自研内核态虚拟化方案	NVIDIA 硬件级多实例切分
主要功能	提供显存硬限制，算力时分复用	提供硬件级的显存与算力完全隔离
支持芯片	A100 等，更多芯片类型请咨询您的客户经理。	A100等，更多芯片类型请咨询您的客户经理。
切分粒度	百分比切分，支持提交0.X卡级别人物	固定比例切分（2/4/7 份）
核心优势	兼容性广，部署灵活	隔离性最强，任务间零干扰

使用说明

队列管理

注意：**同一个资源池内可以同时存在普通队列、sGPU 队列和 MIG 队列。

操作限制：

1. sGPU 虚拟化：

• 资源池相关组件达到一定版本，若开启该功能时提示组件版本低，请联系百舸技术人员升级相关组件。
• 指定物理队列开启虚拟化功能（控制台的GPU虚拟化）后，系统将自动筛选出支持虚拟化的可用节点。若所有节点不可用，请联系百舸技术人员升级相关组件。

2. MIG 虚拟化：

• 开启 MIG虚拟化 的队列只支持已开启MIG配置的节点的移入和移出，不支持节点转让操作。
• 开启 MIG虚拟化 的队列不支持碎片治理功能。
• 同一个队列中所有节点的所有卡，必须保持一致的切分比例。
• 指定物理队列开启MIG功能，仅支持添加开启了MIG配置的节点，加入开启了MIG的队列后节点不支持关闭MIG配置，仅将节点移出队列后再进行关闭。

任务限制

在提交工作负载时，请注意以下差异：

资源配额：

• sGPU 任务：支持输入0.X卡，也支持输入整数卡。
• MIG 任务：申请的“卡数”对应切分后的 GPU 实例数量（例如 1 份代表 1/4 卡）。

禁用功能：

• 使用 MIG 的任务暂不支持开启 RDMA。
• MIG 虚拟化仅支持开发机、单Pod训练、标准推理服务，暂不支持多角色服务组、分布式推理、PD 分离部署、分布式训练。

操作指南

sGPU虚拟化

创建虚拟化队列

1.登录百舸AI计算平台AIHC控制台。

2.在左侧菜单栏选择全托管资源池，上方标签选择 “资源队列” 。

3.单击【创建资源队列】。

4.在【资源信息栏】-【GPU虚拟化】，点击开启，添加节点，即可创建GPU虚拟化队列，也可以在创建队列后再添加节点。

5.可以在队列列表中的 “GPU虚拟化” 列查看开启GPU虚拟化的队列。

创建虚拟化任务

以推理服务为例介绍创建虚拟化任务：

1.在左侧菜单栏选择在线服务部署，单击【+ 部署服务】。

2.在 【资源队列】 配置中，请从列表中选择带有 “GPU 虚拟化” 标签的队列。

3.在 【资源规格】 配置中，填写0-1之间1位小数。

4.完成相关配置后点击确定，即可完成创建虚拟化训练任务。

MIG 虚拟化

创建MIG队列 ： 请提工单创建 MIG 队列。

创建MIG 负载：

• 以在线服务部署为例，创建在线服务部署时，在【资源队列】配置中，请从列表中选择带有 “MIG 虚拟化” 标签的队列。如图所示，“加速芯片型号”列中若包含 MIG-1g.10gb 等格式，即表示为 MIG 实例。

• 在 【资源规格】 配置中，填写大于等于1的正整数，1卡代表一个MIG实例。

• 完成相关配置后点击确定，即可完成创建MIG的负载。