由于 BOS 在超低价格、超高性能、高可靠和高吞吐的强大存储优势,越来越多企业选择 BOS 作为大数据的存储媒介。因此,本文将对 Presto 在 BOS 上的使用方法作一个简要的介绍。 前提条件 参考 Hive使用指南 一文安装并配置 Hive 安装配置 安装版本为349,可参考 presto部署 一文的过程。
Bucket是BOS上的命名空间,相当于数据的容器,可以存储若干数据实体(Object)。用户可以参考 新建Bucket 来完成新建一个Bucket的操作。 上传Object。 Object是BOS中最基本的数据单元,用户可以把Object简单的理解为文件。用户可以参考 上传Object 完成对Object的上传。 列出指定Bucket中的全部Object。
使用存储网关 现在您可以通过NFS client或者SMB client挂载使用存储网关了。存储网关上可以同时关联多个共享目标,每个共享目标对应一个BOS Bucket。您对于共享目标的数据读写会首先缓存在存储网关本地,并异步地将数据同步到BOS上。
Kafka数据存储到BOS 工具概述 Apache Kafka 是一个开源的分布式事件流平台,被广泛用于高性能数据管道、流分析、数据集成和关键任务应用。它支持通过connector方式将事件流数据导出到S3等对象存储系统上,本文将详细阐述如何利用Kafka的 S3 Sink Connector插件 将数据数据导出至BOS存储桶。
删除存储桶 接口说明 本接口用于删除一个Bucket。在删除前需要保证此Bucket下的所有Object和未完成的三步上传Part已经已被删除,否则会删除失败。 注意事项 删除Bucket之前确认该Bucket没有开通跨区域复制,不是跨区域复制规则中的源Bucket或目标Bucket,否则不能删除。
key 请输入Access Key 如何获取AKSK?
Access Key ID / Secret Access Key 用户开通BOS服务后,系统会自动分配一对 Access Key ID (AK)/ Secret Access Key(SK),该密钥对将在用户向BOS发起请求时用做签名验证。Access Key ID用于标示用户,Secret Access Key 是用户用于加密签名字符串和 BOS 服务用来验证签名字符串的密钥。
access_token=' .
amp; bucket , TEST_BUCKET_NAME ) ; options -> config -> is_cname = 0 ; 在上面代码中, access_key_id 对应控制台中的“Access Key ID”, access_key_secret 对应控制台中的“Access Key Secret”,获取方式请参考《操作指南 管理ACCESSKEY 》。
Elasticsearch快照数据存储到BOS 工具概述 Elasticsearch 是一个分布式搜索和数据分析引擎,能够高效地存储、检索、分析、处理庞大的数据集。它支持将快照数据备份到S3等对象存储系统上,本文将详细阐述如何利用ES的 S3 Repository插件 将快照安全地备份至BOS远程存储。 配置教程 下载 Elasticsearch安装包 ,解压并启动ES。