代理监控 代理上流量均衡: CPU使用率 ProxyQPS 实例连接数 CPU使用率、ProxyQPS、实例连接数三个指标, 不同代理上应当尽量一致; 如果差距较大说明不同代理上流量不均衡, 可能会因为单点的高负载导致整体的可用性下降如果出现代理上流量不均衡。 注意事项: 增删分片时需要同时考虑 分片监控和代理监控的CPU使用率 。
GPU节点所在命名空间 节点IP 当前工作负载中GPU节点IP Pod名称 当前工作负载中GPU节点中运行Pod名称 GPU配给卡数 当前工作负载中GPU节点的GPU配给卡数 GPU平均利用率 当前工作负载中GPU节点的GPU平均利用率 显存使用量 当前工作负载中GPU节点的显存使用量 显存平均利用率 当前工作负载中GPU节点的显存平均利用率
容器应用工作负载类型说明 名词解释 工作负载为应用在边缘侧的部署类型,目前BIE支持 deployment 、 daemonset 和 job 三类部署类型,概念等同于 k8s 中的工作负载定义。BIE并未支持k8s的全量工作负载类型,但是已经支持了最常用的工作负载类型。
多线模式 选择专线上云方式,可以选择主备模式或负载均衡(即ECMP)。本文选择主备模式。 下一跳实例 选择路由下一跳。本文路径1选择专线网关1,路径2选择专线网关2。 描述 输入路由条目的描述信息。 配置专线路由 登录专线ET管理控制台,选择 专线通道 栏,点击物理专线1对应的 通道ID,进入 专线通道详情页。 选择 路由管理 栏,点击 新建路由条目。
云服务器BCC 专属服务器DCC GPU云服务器 弹性裸金属服务器 云手机 应用引擎 BAE 轻量应用服务器LS 弹性公网IP 私有网络 VPC 负载均衡 BLB 智能云解析 DNS 专线ET 云智能网 CSN 云防火墙 CFW 对象存储 BOS 文件存储 CFS 云磁盘 CDS 存储网关BSG 边缘计算节点 BEC 数据流转平台CloudFlow 内容分发网络 CDN 海外CDN 动态加速 DRCDN
每个节点配备双 PCIe Switch 芯片,通过双上行链路与 CPU 高速互联,构建 1:1 无阻塞互联结构,实现了高效调度与低延迟通信,彻底消除数据瓶颈。 2.3.交换节点(Switch Tray) 在 AI 基础设施中,网络互连不仅仅是连接,而是性能的延续和扩展。随着大模型训练、推理任务对多卡协同和跨节点通信的依赖不断增强,互连带宽和拓扑结构的优劣,直接决定了系统整体算力的天花板。
GPU节点所在命名空间 节点IP 当前工作负载中GPU节点IP Pod名称 当前工作负载中GPU节点中运行Pod名称 GPU配给卡数 当前工作负载中GPU节点的GPU配给卡数 GPU平均利用率 当前工作负载中GPU节点的GPU平均利用率 显存使用量 当前工作负载中GPU节点的显存使用量 显存平均利用率 当前工作负载中GPU节点的显存平均利用率
NPU节点所在命名空间 节点名称 当前工作负载中NPU节点名称 Pod名称 当前工作负载中NPU节点中运行Pod名称 NPU配给卡数 当前工作负载中NPU节点的NPU配给卡数 NPU平均利用率 当前工作负载中NPU节点的NPU平均利用率 显存使用量 当前工作负载中NPU节点的显存使用量 显存平均利用率 当前工作负载中NPU节点的显存平均利用率
使用RDS代理和只读解决负载过高的问题 概览 在数据库的使用过程中,随着流量的不断增长,需要对RDS实例进行扩容以满足高并发的性能要求,扩容方案一般情况下分为如下两类: 纵向扩展(Scale-Up)方案:升级RDS实例的套餐规格,通过增加CPU和内存的配置,提升数据库性能。
使用仓库访问凭证 在创建工作负载时,在高级设置里可以添加仓库访问凭证以使用私有镜像。 点击“+添加仓库访问凭证”,使用已有凭证或新建凭证,新建凭证需要填写凭证名称、仓库地址、用户名、密码。