使用 S3 SDK 任何通过 Broker 访问对象存储的操作,都可以用 S3 SDK 方式进行替换,这些操作包括: 数据导入 备份与恢复 数据导出 本文我们针对不同云厂商的对象存储系统进行示例说明。
使用CDS CMD工具操作磁盘 使用CMD工具操作磁盘 用户可以通过cdscmd命令来执行一些CDS磁盘相关操作,目前支持功能如下 CMD使用多层命令结构,所有的命令以 cdscmd 开头, [options] 表示CDS CMD支持的功能选项。 $ cdscmd [options] $ # 示例 $ .
使用限制 概述 BOS 一些功能在额度和数量上有一定限制,请您在使用前先阅读以下文档。 使用限制 限制类型 具体说明 存储类型 不同存储类型所支持的售卖地域也有所不同,请查看 存储类型介绍 ; Bucket BOS 支持用户自定义账号下 Bucket 总数,但一个主账号下能够创建的 Bucket 数量最多为 100。
使用CDN加速BOS 概览 本文介绍如何利用内容分发网络 CDN 对 BOS 中数据进行加速分发。 需求场景 存储分发场景下,BOS用于存放网站的静态图片、视频文件和应用服务的下载内容等文件。
在BML平台使用并行文件系统PFS和对象存储BOS 在BML平台使用并行文件系统PFS 平台支持用户在用户资源池上关联 并行文件存储PFS 作为建模任务时的数据存储,当前支持使用并行文件系统PFS提交的任务: 自定义作业-训练作业任务、自动搜索作业任务 前提条件 用户在平台上已经挂载了容器引擎CCE资源作为用户资源池,点击了解 容器引擎CCE ; 用户已经创建了并行文件系统PFS,点击了解 并行文件系统
数据处理及使用 生命周期管理 BOS支持用户对Bucket设置生命周期规则,以自动将过期的文件清除,节省存储空间。针对不同前缀的文件,用户可以同时设置多条规则。 在为Bucket设置一条生命周期规则时,需注意如下参数的使用方式: 规则项 描述 是否必填 备注 id 规则的标识符 必填 同一个bucket内规则id必须唯一,不能重复。
使用 DistCp 迁移数据至分层命名空间 Bucket Hadoop DistCp 使用 DistCp(分布式拷贝)是 Hadoop 自带的用于大规模集群内部和集群之间拷贝的工具。 它使用 Map/Reduce 实现文件分发,错误处理和恢复,以及报告生成。 它把文件和目录的列表作为 Map 任务的输入,每个任务会完成源列表中部分文件的拷贝。
使用对象存储BOS 概述 容器引擎 CCE 支持通过创建 PV/PVC,并为工作负载挂载数据卷方式使用百度智能云 对象存储BOS 。本文将介绍如何在集群中静态挂载对象存储。 使用限制 集群 Kubernetes 版本需大于或等于 1.16。 请注意创建的 BOS Bucket 所处地域。
Presto 使用指南 概览 Presto 是 Facebook 开发的数据查询引擎,可对海量数据进行快速地交互式分析,支持 Hive,关系数据库等多种数据源。由于 BOS 在超低价格、超高性能、高可靠和高吞吐的强大存储优势,越来越多企业选择 BOS 作为大数据的存储媒介。因此,本文将对 Presto 在 BOS 上的使用方法作一个简要的介绍。
Hive 使用指南 Hive Hive 是基于 Hadoop 的一个数据仓库工具,用来进行数据提取、转化、加载,这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 数据仓库工具能将结构化的数据文件映射为一张数据库表,并提供 SQL 查询功能,能将 SQL 语句转变成 MapReduce 任务来执行。