k8s三部曲负载均衡  内容精选
  • 更新日志 - 百度百舸 · AI计算平台 | 百度智能云文档

    尽量均衡 DP 间的采样样本长度; Packing 模式下,支持数据集按 packing 后的样本总计算量排序,尽量均衡 DP 间的计算量(在长序列场景下,由于样本长度差异较大,该问题可能更严重); 升级 Megatron 显存优化机制,在长序列等对显存要求极高的场景下,可用于精细的调整显存占用,包括: 支持流水线并行按 PP Stage 动态设置不同的 PP Layer 数目; 支持重计算功能按

    查看更多>>

  • 资源报表 - 百度百舸 · AI计算平台 | 百度智能云文档

    资源池维度报表 聚合该资源池下所有队列的全量负载数据。 指标名称 定义说明 计算逻辑 总占用卡时 反映资源池的真实负载总量。 ∑(单个任务占用GPU数 × 实际运行时长) 注:支持按开发/训练/推理类型拆解 GPU/显存平均利用率 反映资源池的整体利用效率。 统计周期内,所有占用GPU卡的任务运行中的平均利用率。 注:支持按负载类型(开发机 / 训练 / 推理)分别查看GPU利用率与显存利用率。

    查看更多>>

k8s三部曲负载均衡  更多内容