该方案可根据实例规模、集群磁盘使用率、集群机器负载、集群机架位和集群机器所在交换机等因素进行管理,使存储资源得到充分利用,并满足高性能的存储需求。 然而,随着时间的推移和集群的扩容或缩容等操作,存储系统中的副本分布可能会出现不均衡的现象。为了解决这一问题,GaiaDB 的分布式多租户存储方案能够提供统一的资源均衡策略。
人工智能推理 针对深度学习的在线推理场景,相比训练负载,推理负载对GPU性能的要求降低,但对运行稳定性要求更高,对服务器响应延时也有了更高要求。 可选择NVIDIA Tesla A10、NVIDIA Tesla T4等GPU类型,在满足性能要求的同时,提供更具性价比的选择,同时支持GPU硬件级的解码功能并加速端到端的图片类推理性能。
使用免密组件提交工作负载 免密组件安装成功以后,在免密组件生效的命名空间下使用ServiceAccount创建工作负载时,会自动注入CCR实例的镜像访问凭据。
当前集群占用GPU的工作负载名称 类型 当前集群占用GPU的工作负载类型 命名空间 当前集群占用GPU的工作负载所在命名空间 开始时间 当前集群占用GPU的工作负载开始时间 运行时长 当前集群占用GPU的工作负载运行时长 GPU配给卡数 当前集群占用GPU的工作负载配给GPU卡数 显存平均利用率 当前集群占用GPU的工作负载内所有GPU卡显存平均利用率实时值 GPU平均利用率 当前集群占用GPU的工作负载内
当前集群占用NPU的工作负载类型 负载名称 当前集群占用NPU的工作负载名称 命名空间 当前集群占用NPU的工作负载所在命名空间 NPU配给卡数 当前集群占用NPU的工作负载配给NPU卡数 显存平均利用率 当前集群占用NPU的工作负载内所有NPU卡显存平均利用率实时值 NPU平均利用率 当前集群占用NPU的工作负载内NPU卡平均利用率实时值 内存使用量 当前集群占用NPU的工作负载的内存使用量 CPU
当前集群占用GPU的工作负载名称 类型 当前集群占用GPU的工作负载类型 命名空间 当前集群占用GPU的工作负载所在命名空间 开始时间 当前集群占用GPU的工作负载开始时间 运行时长 当前集群占用GPU的工作负载运行时长 GPU配给卡数 当前集群占用GPU的工作负载配给GPU卡数 显存平均利用率 当前集群占用GPU的工作负载内所有GPU卡显存平均利用率实时值 GPU平均利用率 当前集群占用GPU的工作负载内
高阶监控是节点和工作负载范畴的,包括TopN节点,节点详情,TopN工作负载,工作负载详情相关的指标信息。
控制台创建工作负载示例 若您通过CCE控制台创建工作负载(操作步骤可参考 工作负载 ),您可在工作负载的容器配置中指定GPU类型为独占或共享。独占和共享的资源输入限制和上文中AI任务的创建一致。
场景3:固定IP 固定 IP 策略的含义是给定一个IP列表,CCE从这个IP列表中给有状态负载的Pod分配IP。Pod删除后IP地址保留,Pod重建或者迁移后,IP地址仍然不变。 无论 Pod 是否删除,已经分配的IP地址不会被释放,直到工作负载被删除后,IP 地址才会被回收。
若选择通过 “表单创建” ,输入工作负载名称,选择命名空间和工作负载类型,添加K8S标签,填写期望Pod数后;下一步添加容器配置,输入镜像地址选择Nginx容器镜像,添加成功后;再下一步可以根据您的需要进行伸缩策略的高级配置,最后点击 完成 。 若选择 “使用 YAML 创建” ,输入以下 YAML 文件,根据需要修改容器组数量等配置,点击 “确定” 进行创建。