海量数据分析及存储 CDS 云磁盘适配 Redis、Kafka、Elasticsearch、分布式数据库等随机读写密集场景,原生对接百度大数据生态,支撑消息队列、检索服务、数仓业务稳定运行。满足各类数据的海量存储需求,包括教育资源、医疗数据、音视频、科研数据、采集样本,以及海量用户场景下的 SaaS 或门户数据等。
安全可靠 CDS 拥有灵活的访问控制策略,使用户能够安心管理所存数据;同时,CDS 的分布式多副本冗余存储技术与灵活的快照备份功能,可保护用户免受组件故障威胁。 独立持久 用户可随时将已挂载的按量计费类型 CDS 云磁盘和云服务器实例解除绑定关系,再进行其他绑定操作;解绑后的 CDS 云磁盘可被挂载到任意一台云服务器实例上,当该实例被删除时,云磁盘数据仍然存在。
使用 BOS 存储 对象存储 BOS 适合海量数据的长期存储和分发,在百舸训练任务中支持通过挂载方式访问 BOS 数据。BOS 存储挂载基于 bosfs2.0 实现。 在训练任务中配置 BOS 存储挂载 在控制台导航中选择 大规模训练与推理->分布式训练 ,进入分布式训练任务列表页面。 单击 【创建任务】 ,进入任务创建页面。
云磁盘的后端是分布式存储,具有多副本,可靠性高;本地磁盘如果发生不可逆故障,则数据会丢失。 云磁盘将存储与计算资源分开,可以避免文件读写占用过多计算资源。 云磁盘可以挂载到不同的虚机上,本地磁盘只能属于一台虚机。 从快照创建新的云磁盘 CDS 时,新磁盘的容量可以大于原盘的容量吗? 可以,您可以根据需求进行选择。 云磁盘 CDS 最大可以支持多大容量?
Hbase使用BOS作为底层存储 HBase HBase 是一个面向列式存储的分布式数据库,旨在提供对大量结构化数据的快速随机访问,底层存储一般基于 HDFS 实现。
快照原理 云磁盘 CDS 采用分布式存储技术。当您创建云磁盘并格式化之后,逻辑磁盘会划分为若干数据块。当数据写入云磁盘时,本质是写入到相应的数据块。当某数据块中的数据发生变化时(如数据写入、数据删除),只有该数据块中的数据会发生变化。
CDN 对象存储 BOS 文件存储 CFS 云磁盘 CDS 存储网关BSG 表格存储 TableStorage 边缘计算节点 BEC 数据流转平台CloudFlow 内容分发网络 CDN 动态加速 DRCDN 并行文件存储PFS 极速文件缓存 RapidFS 数据库 云数据库 RDS 云数据库 Redis 云数据库 DocDB for MongoDB 云数据库 HBase 云数据库 GaiaDB 分布式数据库
这些工具实现了 Bos 与 PyTorch 分布式 Checkpoint 的无缝集成,支持高效存储和读取分布式模型 Checkpoint。 前置条件与安装 需要 PyTorch 2.3 或更新版本。
应用场景 大数据分析 大数据分析场景在图片数据清洗、特征挖掘、缩略图在线检索等需求中面临分布式mysql在扩展性和性能上的局限性。表格存储 TableStorage 专为此场景提供了离线检索和超大规模分布式数据处理能力,实现了海量数据弹性存储、精简数据处理流程、降低在线服务访问时延、提升离线部分处理效率和图片处理能力,为大数据服务可靠性提供有力支持。