Flume 数据存储到 BOS Flume Flume 是一个分布式、可靠性和高可用的海量日志聚合系统,支持在系统中定制各类数据发送方,用于收集数据;同时,Flume 提供对数据进行简单处理,并写到各种数据接收方(可定制)的能力。 Flume 支持多种 Sink 类型,可以借助 HDFS Sink 将收集到的数据存储到 BOS。 开始 1. 下载并安装 apache-flume 略 2.
GET请求下载Bucket文件到本地 依赖 使用原始API进行访问Bucket,需要自行计算鉴权信息。
部署本地网关 本地存储网关 使用本地网关需要用户自行部署与启动bsg-agent服务, 具体部署与启动bsg-agent详见下文描述 注意: bsg-agent需要与百度智能云上bsg-master组件进行交互, 需要保证部署bsg-agent机器与外网互通。
Fluentd收集数据存储到BOS 工具概述 Fluentd是一个开源数据收集器,可以从各种数据源收集事件,统一收集数据后可以写入文件、RDBMS、NoSQL、Hadoop、S3等存储系统消费,以便更好地使用数据。本文将详细阐述如何利用Fluentd的 fluent-plugin-s3插件 将日志数据输出到BOS存储桶。
与对象存储BOS的关系 您通过数据流转平台 CloudFlow,最终以对象形式将数据存储到百度智能云对象存储 BOS。CloudFlow 支持三方云对象存储数据迁移到 BOS,也支持通过月光宝盒设备寄送的方式将本地数据上传到 BOS。 通过CloudFlow在线服务进行三方云数据迁移 通过Cloudflow月光宝盒进行本地数据上云
Elasticsearch快照数据存储到BOS 工具概述 Elasticsearch 是一个分布式搜索和数据分析引擎,能够高效地存储、检索、分析、处理庞大的数据集。它支持将快照数据备份到S3等对象存储系统上,本文将详细阐述如何利用ES的 S3 Repository插件 将快照安全地备份至BOS远程存储。 配置教程 下载 Elasticsearch安装包 ,解压并启动ES。
实践步骤 以用户上传视频、图片等二进制文件为例,使用 CDN 动态加速上传数据到 BOS 的存储方案可以对上传过程优化,在有限增加成本的情况下提升上传速度和上传体验。
数据发布 概述 BOS 支持为已创建的 Bucket 设置多种域名,从而对存储的数据进行发布。
删除数据 概述 删除数据即删除存储空间(Bucket)中的文件(Object),BOS 允许您执行如下删除操作: 单个删除:删除某个指定的 Object。 批量删除:单次请求最多删除 1000 个 Object 。
目标前缀:您可以选择文件在目标 Bucket 中的存储位置。若输入的前缀不存在,目的端 Bucket 将自动生成新的前缀。前缀不支持连续的/符号,若您输入的前缀中包含连续/如///,则/只保留一个。 目标存储类型:您可以设置文件在目的 Bucket 中的存储类型。目标 Bucket 的存储类型可以选择和源对象相同,也可以根据需要选择其它的存储类型。