Fluentd收集数据存储到BOS 工具概述 Fluentd是一个开源数据收集器,可以从各种数据源收集事件,统一收集数据后可以写入文件、RDBMS、NoSQL、Hadoop、S3等存储系统消费,以便更好地使用数据。本文将详细阐述如何利用Fluentd的 fluent-plugin-s3插件 将日志数据输出到BOS存储桶。
低频存储返回STANDARD_IA,冷存储返回COLD,归档存储返回ARCHIVE,标准存储返回STANDARD。
1.定义 服务周期 :一个服务周期为一个自然月,不满一个月不计算为一个服务周期。 单实例服务周期总分钟数 :按照单实例服务周期内的总天数 ∗ 24(小时) ∗ 60(分钟)计算。 实例不可用分钟数 :在连续的一分钟内,在客户端系统环境、网络、鉴权服务及上游存储服务等均正常运行的情况下,若向指定单BSG实例建立连接的所有连续尝试均失败,则视为该分钟内该单BSG实例服务不可用。
返回的common prefix的列表 模拟文件夹功能 在BOS的存储结果中是没有文件夹这个概念的,所有元素都是以Object来存储,但BOS的用户在使用数据时往往需要以文件夹来管理文件。
Owner的名称 模拟文件夹功能 在BOS的存储结果中是没有文件夹这个概念的,所有元素都是以Object来存储,但BOS的用户在使用数据时往往需要以文件夹来管理文件。
PFS数据备份到BOS 适用场景 适用于将并行文件存储PFS(标准型、增强型、极速型、极速型L2)中的重要数据定期备份到对象存储BOS中。 前提条件 已创建对象存储BOS Bucket,请参见 创建Bucket 。
设置Bucket的默认存储类型 接口说明 本接口用来设置Bucket的默认存储类型。 如果用户使用API、CLI或者SDK上传的Object未指定存储类型,则继承Bucket的默认存储类型。如果上传Object指定的存储类型和Bucket默认存储类型不一致时,以Object的存储类型为准。存储类型包含标准存储、低频存储、冷存储和归档存储四种,具体使用场景和性能请参见 分级存储 。
模拟文件夹功能 在BOS的存储结果中是没有文件夹这个概念的,所有元素都是以Object来存储,但BOS的用户在使用数据时往往需要以文件夹来管理文件。 因此,BOS提供了创建模拟文件夹的能力,其本质上来说是创建了一个size为0的Object。对于这个Object可以上传下载,只是控制台会对以”/“结尾的Object以文件夹的方式展示。
在BOS的存储结果中是没有文件夹这个概念的,所有元素都是以Object来存储,但BOS的用户在使用数据时往往需要以文件夹来管理文件。
标准存储返回STANDARD,低频存储返回STANDARD_IA,冷存储返回COLD,归档存储返回ARCHIVE。 COLD 请求示例 JSON 复制 1 GET /v 1 /bucketName_example/?