h.320 网络  内容精选
  • 云原生 AI 的资源调度 AI 工作流引擎设计分享

    通常这种场景下,模型采用混合并行策略,即数据并行叠加模型并行的网络结构进行训练,将训练任务拆分成 n 组单元,n 组单元内的 Pod 先进行数据同步,再到单元间进行数据同步,那么如果这些训练 Pod 分散到不同交换机的节点上,那有可能同组单元的 Pod 要经过最顶层的 Spine 交换机进行通信,这势必严重影响训练性能,极端情况下引起严重的网络拥塞。

    查看更多>>

  • 导入事务原子性 - Baidu Palo/Doris 使用文档

    导入事务原子性 导入原子性 PALO 中的所有导入操作都有原子性保证,即一个导入作业中的数据要么全部成功,要么全部失败。不会出现仅部分数据导入成功的情况。 在 BROKER LOAD 中我们也可以实现多多表的原子性导入。 对于表所附属的 [物视图](TODO),也同时保证基表的原子性一致性。 Label 机制 PALO 的导入作业都可以设置一个 Label。

    查看更多>>

h.320 网络  更多内容