在训练任务中使用云存储 在百舸异构计算平台提交分布式训练任务时，您可以通过存储挂载的方式将云存储（BOS、CFS、PFS、RapidFS）挂载到训练容器中，从而方便地在训练过程中直接读写存储中的数据。本文为您介绍如何在百舸训练任务中进行 BOS、CFS 、 PFS 、Rapidfs的存储配置与挂载使用。 前置条件 登录 百舸异构计算平台 AIHC 控制台 。 已创建资源池和队列。

查看更多>>

Fluentd收集数据存储到BOS 工具概述 Fluentd是一个开源数据收集器，可以从各种数据源收集事件，统一收集数据后可以写入文件、RDBMS、NoSQL、Hadoop、S3等存储系统消费，以便更好地使用数据。本文将详细阐述如何利用Fluentd的 fluent-plugin-s3插件 将日志数据输出到BOS存储桶。

查看更多>>

常用存储对比&选用推荐 本文旨在帮助您在不同的应用场景中，选择适合的存储产品 选用推荐 1. 云磁盘 CDS 接口形式：块设备接口 特点：高性能、低时延，支持高效随机读写；一对一挂载关系，不支持多Pod共享 适用场景：需要频繁更新、细粒度更新的数据、虚拟机root盘、I/O密集型业务（如文件系统、数据库等）；在百舸平台上，开发机优先推荐挂载CDS作为数据持久化方案 2.

查看更多>>

请求价格 请求费用 BOS 请求费用包含读写请求费用和数据取回费用。 读写请求费用 当您通过 BOS 控制台/SDK/官方工具/API 调用 BOS 时，均会产生读写请求费用。 读写请求费用的详细价格信息，请参见 对象存储BOS价格说明 ->“按需计费方式”->“请求价格”->“读写请求费用”。

查看更多>>

级 亚ms级 数据 随机读写 支持随机读写 支持随机读写 支持随机读，随机写弱支持 文件数 百亿文件 千亿文件 【全托管模式】 百亿文件 【Master托管模式】 M2型：50亿 M1型：10亿 使用 协议/接口 POSIX（支持 Linux） MPI-IO（支持 Linux） NFS 4.1（支持 Linux） SMB 1、SMB 2和SMB 3（支持 Windows） POSIX（支持 Linux

查看更多>>

访问控制 百度智能云对象存储BOS提供读写权限ACL、粗细粒度的自定义授权策略、防盗链白名单等功能，实现存储资源访问的控制和管理。 读写权限 BOS为权限控制提供访问控制列表（ACL）。ACL是授予Bucket和Object访问权限的访问策略。 您可以在创建存储空间（Bucket）或上传对象（Object）时配置ACL，也可以在创建Bucket或上传Object后的任意时间内修改ACL。

查看更多>>

存储类型包含标准存储、低频存储、冷存储和归档存储四种，具体使用场景和性能请参见 分级存储 。 每个 Bucket 的名称具有全局唯一性。可使用前缀确保名称的唯一性，如以所在的组织的名称作为 Bucket 的前缀。Bucket 创建后，不能更改名称。 在 Bucket 创建时即可设置相应的读写权限，包括：私有、公共读和公共读写三种权限。

查看更多>>

Logstash数据存储到BOS 工具概述 Logstash 是一个开源的数据收集、处理、分析工具，可以从众多来源捕捉事件，流式传输到所需的存储库中，本文将描述Logstash如何把数据存储到BOS bucket。 配置教程 官网下载安装 Logstash安装包 ，选择对应操作系统的最新版本即可；下载后解压安装包并创建配置文件。

查看更多>>