尽量均衡 DP 间的采样样本长度; Packing 模式下,支持数据集按 packing 后的样本总计算量排序,尽量均衡 DP 间的计算量(在长序列场景下,由于样本长度差异较大,该问题可能更严重); 升级 Megatron 显存优化机制,在长序列等对显存要求极高的场景下,可用于精细的调整显存占用,包括: 支持流水线并行按 PP Stage 动态设置不同的 PP Layer 数目; 支持重计算功能按
规格选择建议 对延迟要求高的在线业务推荐使用增强型SSD; 对延迟要求一般的在线/准在线业务推荐使用通用型SSD; QPS Core规格和数量建议 说明 节点平均挂载存储建议 0~1000 2台4C16GB 推荐的最低规格,低负载访问场景。每台Core节点上的region数量不宜超过100个。 400G 1000~2w 2~3台 8C32GB 通常推荐的规格,中低负载访问场景。
服务弹性伸缩 使用模型部署推理服务后(暂不支持使用自定义镜像部署的服务进行弹性伸缩),如果业务负载出现显著的波峰波谷,您可以开启推理服务实例弹性扩缩容功能。通过本功能,您可以根据业务负载的变化,自动调整推理服务实例的数量,以实现计算资源的动态管理,确保业务平稳运行并提高资源利用率。
弹性RDMA网卡概述 弹性RDMA网卡(ERI)是一种能支持云服务器间在私有网络以RDMA通信的弹性网卡类型,具有低时延、高吞吐、低负载的特点,能显著提升云服务器之间的通信效率。同时,ERI支持弹性网卡的产品特性,可实现高可用网络方案。 使用场景 使用弹性RDMA网卡具有以下优势 : 低时延访问 可实现5us级通信时延并极大降低网络传输在CPU的负载。
6 MB 函数异步调用请求正文负载大小 256 KB 每个区域账户资源限制 资源 默认值 函数并发执行数 100(如果需要更大并发数,请 工单 联系客服) 可上传的所有程序包总大小 75 GB
如果您的进程属于正常负载,可考虑进行服务器配置升级,或选购额外的BCC分担负载。 服务器带宽跑满了怎么办? 如果是应用的流量已经达到了带宽的上限,需要重新调整带宽。如果是私有网络带宽已满,您可以通过实例变配,升级到带宽规格更大的实例规格,如果是公网带宽已满,您可以按需调整EIP的带宽上限。
6 MB 函数异步调用请求正文负载大小 256 KB 每个区域账户资源限制 资源 默认值 函数并发执行数 100(如果需要更大并发数,请 工单 联系客服) 可上传的所有程序包总大小 75 GB
按以下步骤在控制台上创建独立网格实例并且开启多协议支持: 登录 百度智能云控制台 ,选择“产品服务 > 云原生 > 服务网格 CSM”; 在全局概览页面通过“创建实例”按钮进入实例创建页面; 在创建服务网格页面,完成基础配置; 查看网络列表,如下所示: 部署应用 按一下步骤在CCE集群部署应用: 在CSM/注入配置处,给default命名空间开启自动注入; 通过CSM页面跳转到CCE集群,部署应用; 在工作负载
自动注入的服务网格 Sidecar 在工作负载重新启动前仍然有效,继续使用移出前的规则并转发流量,在工作负载重启后,重新拉起的工作负载将不会再次注入 Sidecar,不再执行服务网格 CSM 配置的流量规则。 托管服务网格删除示例如下所示:
如果集群整体负载不高且索引存在副本分片,一般情况下滚动重启过程中可对外持续提供服务。但如果强制重启并发度高、集群负载很高并且已经存在集群访问不可用的情况、没有副本分片、在重启或强制重启过程中存在大量的写入和查询等场景,重启过程中可能会出现访问超时,建议重启前先在客户端设计好重试机制并且在业务低峰期进行操作。