DNS 原理说明 CCE 集群中的 CoreDNS 工作负载,该负载默认有 3 个 CoreDNS pod,并会通过名为 kube-dns 的服务名暴露 DNS 服务。
尽量均衡 DP 间的采样样本长度; Packing 模式下,支持数据集按 packing 后的样本总计算量排序,尽量均衡 DP 间的计算量(在长序列场景下,由于样本长度差异较大,该问题可能更严重); 升级 Megatron 显存优化机制,在长序列等对显存要求极高的场景下,可用于精细的调整显存占用,包括: 支持流水线并行按 PP Stage 动态设置不同的 PP Layer 数目; 支持重计算功能按
升级过程中使用了PFS L2存储卷的工作负载是否有影响? 回答:不受影响。升级过程中和升级到最新版本后用户工作负载无感,可正常访问存储集群。 2. 升级过程耗时多久,升级过程有哪些限制? 回答:升级完成大约25s左右,升级过程中无法创建新的pv/pvc,无法挂载新的工作负载。 3. 升级成功后,用户旧版本 CCE CSI PFS L2 Plugin 创建的pv/pvc能否继续使用?
Pod的Spec字段中或Deployment、Job等工作负载的PodTemplate的Spec字段中,可以通过以下方式声明一个拓扑分布约束。
规格配置 可选 为组件中的工作负载设置容器配额,即指定组件部署Pod运行所分配的CPU、内存request值和limit值。 调度策略 可选 为组件中的工作负载设置节点选择和污点容忍调度策略。 节点选择: 指定组件Pod部署的节点。若不指定,将根据集群默认调度策略进行随机调度。
规格配置 可选 为组件中的工作负载设置容器配额,即指定组件部署Pod运行所分配的CPU、内存request值和limit值。 调度策略 可选 为组件中的工作负载设置节点选择和污点容忍调度策略。 节点选择: 指定组件Pod部署的节点。若不指定,将根据集群默认调度策略进行随机调度。
threads 工作负载的并发线程数量。 注意:默认情况下,预填数据工作负载定义为 threads=8 , xfersize=128k ,即预填数据使用 8 线程,IO 大小为 128K,如需更改默认预填数据工作负载定义,则需要增加参数指定线程数和 IO 大小( fwd=format , threads=nn , xfersize=nn )。
数据压缩 PALO 采用 列式存储 模型来组织和存储数据,这种存储模型特别适合分析型负载,能够显著提高查询效率。在列式存储中,表的每一列会独立存储,这为压缩技术的应用提供了便利,从而提高了存储效率。PALO 提供多种压缩算法,用户可以根据工作负载的需求,选择合适的压缩方式来优化存储和查询性能。
调度层面: 配合精细化 DP 均衡调度,最大程度的消除 idle batch 占比,避免因为调度问题导致 DP 负载不均,减少 Prefill 侧产生 idle batch 的比例,避免出现大量请求排队的问题,从而提高 Prefill 单卡吞吐。
弹性RDMA网卡概述 弹性RDMA网卡(ERI)是一种能支持云服务器间在私有网络以RDMA通信的弹性网卡类型,具有低时延、高吞吐、低负载的特点,能显著提升云服务器之间的通信效率。同时,ERI支持弹性网卡的产品特性,可实现高可用网络方案。 使用场景 使用弹性RDMA网卡具有以下优势 : 低时延访问 可实现5us级通信时延并极大降低网络传输在CPU的负载。