原理篇二：大文件分块上传 对象存储（BOS）
对于 uploadId 的存储，需要满足不受页面关闭的影响，比较理想的做法是存储在 localStorage 中。 本地存储 在保存 uploadId 时，我们需要为它指定一个 key ，让不同的文件、不同的上传过程区分开。
AI 应用的全流程存储加速方案技术解析和实践分享
checkpoint 对存储系统来说是写操作。 图片 从上面的分析，可以看到和存储有关的操作包含 3 种，shuffle、读 batch、checkpoint，前两者是读，后者是写。那么这些操作究竟对训练产生什么影响呢？ 为了解答这个问题，在下图中列出一个简单的公式。衡量存储在这个过程中间是不是好，我们需要看的是整个训练过程中，真正用于计算的那部分时间在总时间中所占的比例。
如何选用CFS、BOS和CDS - 文件存储CFS | 百度智能云文档
如何选用CFS、BOS和CDS 本文介绍文件存储CFS与对象存储BOS、云磁盘CDS的区别，帮助您更好地选用合适的百度智能云存储服务，主要区别如下表所示。 对比项 文件存储CFS 对象存储BOS 云磁盘CDS 特点 文件存储是一种基于层级目录结构的存储方式，数据以文件的形式保存，并且通过目录和文件路径进行访问，类似传统本地文件系统。它支持POSIX标准的操作，如读写权限管理等。
与对象存储BOS的关系 - 数据流转平台CLOUDFLOW | 百度智能云文档
与对象存储BOS的关系 您通过数据流转平台 CloudFlow，最终以对象形式将数据存储到百度智能云对象存储 BOS。CloudFlow 支持三方云对象存储数据迁移到 BOS，也支持通过月光宝盒设备寄送的方式将本地数据上传到 BOS。 通过CloudFlow在线服务进行三方云数据迁移 通过Cloudflow月光宝盒进行本地数据上云
CDN动态加速上传数据到BOS 对象存储（BOS）
实践步骤 以用户上传视频、图片等二进制文件为例，使用 CDN 动态加速上传数据到 BOS 的存储方案可以对上传过程优化，在有限增加成本的情况下提升上传速度和上传体验。
混合云中使用专线-VPN访问BOS 对象存储（BOS）
挂载服务选择对象存储，并选择对应的BOS服务Endpoint。 Step2：确认服务网卡配置 创建完成后请在服务网卡列表中查看创建的服务网卡相关配置，并确认服务网卡对应的服务名称与要访问的BOS服务Endpoint相同。
在BML平台使用并行文件系统PFS和对象存储BOS - BML 全功能AI开发平台 | 百度智能云文档
在BML平台使用并行文件系统PFS和对象存储BOS 在BML平台使用并行文件系统PFS 平台支持用户在用户资源池上关联 并行文件存储PFS 作为建模任务时的数据存储，当前支持使用并行文件系统PFS提交的任务： 自定义作业-训练作业任务、自动搜索作业任务 前提条件 用户在平台上已经挂载了容器引擎CCE资源作为用户资源池，点击了解 容器引擎CCE ； 用户已经创建了并行文件系统PFS，点击了解 并行文件系统
CCE AI Job Scheduler 说明 - 容器引擎CCE | 百度智能云文档
1.7.12 CCE v1.18+ 2024.03.28 新功能 RDMA亲和性策略，支持基于RDMA POD/TOR拓扑结构调度，提高多机训练性能 优化 默认部署策略优化 a. 默认关闭在离线混部功能 b. 默认关闭队列内/队列间抢占功能 c. 默认关闭VPC TOR亲和性调度功能 d.
产品描述 - 云高性能计算平台CHPC | 百度智能云文档
核心概念 集群 集群是CHPC管理的核心单元，包含节点、HPC调度器、域账号系统、应用软件、共享存储、弹性公网IP等资源，可提供强大的计算能力。 节点 每个节点是一台云服务器实例，是执行计算任务的基本单元。节点可按照使用用途细分为登录节点、管控节点和计算节点。 队列 队列是计算节点的组织单元，通常一个队列会配置相同的计算节点规格来处理同一种计算作业。
附录 - 百舸异构计算平台AIHC | 百度智能云文档
env Map<string, string > 否 map[string]string结构 image ImageConf 是 镜像信息，见请求示例 volumeMounts VolumnMountConf 否 存储挂载，见请求示例 readinessProbe ProbeConf 否 就绪探针信息 startupsProbe ProbeConf 否 启动探针信息 livenessProbe
