Flume数据存储到BOS Flume Flume是一个分布式、可靠性和高可用的海量日志聚合系统,支持在系统中定制各类数据发送方,用于收集数据;同时,FLume提供对数据进行简单处理,并写到各种数据接收方(可定制)的能力。 Flume支持多种Sink类型,可以借助HDFS Sink将收集到的数据存储到BOS。 开始 1. 下载并安装apache-flume 略 2.
目标 Bucket 的存储类型可以选择和源对象相同,也可以根据需要选择其它的存储类型。 对非标准 Object 进行数据复制操作时,会触发取回费用。 目的 Bucket 文件的存储类型不支持归档存储。 规则添加成功后可以在列表中看到当前 Bucket 已有的同步策略,也可以编辑和删除。
低频存储返回 STANDARD_IA ,冷存储返回 COLD ,标准存储返回 STANDARD ,归档存储返回 ARCHIVE ;如果是多AZ类型bucket,多AZ低频存储返回 MAZ_STANDARD_IA ,多AZ标准存储返回 MAZ_STANDARD 。
RestoreObject 接口描述 RestoreObject用于取回归档存储文件,请求者必须有归档存储文件的读权限,并且归档存储文件处于冰冻状态。 注意: 如果使用软链接访问该接口,会根据软链接的目标文件的存储类型和状态进行处理。 如果使用软链接访问该接口且目标文件删除了,会返回Http 404,SymlinkTargetNotExist。
Fluentd收集数据存储到BOS 工具概述 Fluentd是一个开源数据收集器,可以从各种数据源收集事件,统一收集数据后可以写入文件、RDBMS、NoSQL、Hadoop、S3等存储系统消费,以便更好地使用数据。本文将详细阐述如何利用Fluentd的 fluent-plugin-s3插件 将日志数据输出到BOS存储桶。
Bucket Bucket是存放数据的容器,可以当成是存储桶。Bucket具有区域属性,只能位于一个区域。因为Bucket名称创建后不能修改名称和所属区域,所以建议根据业务情况就近存储,方便上传和下载以提高访问速度。Bucket名称具有全局唯一性。每个Object必须都包含在某个Bucket中。
您可以使用拖拽或直接选择文件的方式上传文件,同时在上传时可以选择验证 MD5,修改文件存储类型。
存储网关是在计算节点本地化运行的代理程序,您需要将其创建到需要的 VPC 中。存储网关通过无服务化 serverless 架构提供服务。 举例说明: 如您在已有 VPC A 中创建了新的存储网关 P,那么该存储网关将与 VPC A 中的计算节点(如 BCC 实例 1 )处于同一个内网 VPC 环境中。 3.
附录 类型信息 存储网关状态 名称 类型 描述 CREATING String 正在创建 CREATE_FAILED String 创建失败 RUNNING String 正常运行(创建成功) DELETED String 已删除 EXPIRED String 已过期(付费) 共享目标状态 名称 类型 描述 CREATING String 正在创建 CREATE_FAILED String 创建失败
设置Bucket存储类型 新建的Bucket默认是标准存储类型,用户也可以通过如下代码设置或获取指定Bucket的存储类型: 参数 说明 storageClass 存储类型,支持 STANDARD 、 STANDARD_IA 、 COLD 、 ARCHIVE public void PutBucketStorageClass ( ) { // 设置 STANDARD_IA ,低频存储 String