监控审计 对象存储BOS提供访问日志的存储和查询功能,并支持Bucket操作日志透明化,满足您对企业数据的监控审计需求。 日志转存 访问对象存储BOS的过程中会产生大量的访问日志,您可以通过日志转存功能将这些日志按照固定命名规则,以小时为单位生成日志文件写入您指定的Bucket。对于已存储的日志,您可以通过百度智能云日志服务或搭建Spark集群等方式进行分析。更多信息,请参见 设置访问日志 。
目标 Bucket 的存储类型可以选择和源对象相同,也可以根据需要选择其它的存储类型。 对非标准 Object 进行数据复制操作时,会触发取回费用。 目的 Bucket 文件的存储类型不支持归档存储。 规则添加成功后可以在列表中看到当前 Bucket 已有的同步策略,也可以编辑和删除。
数据安全 数据安全 当开发者在 BOS 进行数据存储和管理时,基于更高的数据可靠性要求,BOS提供回收站功能,防止数据的误删除,提供对误删除的数据进行找回,为数据管理提供了更高的可靠性,您可以在存储桶维度开启回收站功能,从此数据保护安全更加无忧。 应用场景: 数据恢复: 当使用数据时产生误删情况,希望有途径将数据找回。
数据发布 概述 BOS 支持为已创建的 Bucket 设置多种域名,从而对存储的数据进行发布。
URL列表文件格式要求 URL 列表文件包含如下三部分信息: Object 在源目录的位置,以 URL 方式定义; Object 传输至 BOS 的指定 Bucket 后,存放的路径及 Object 名称; Object 上传至 BOS 后的存储类型,有 STANDARD、STANDARD-IA、COLD、ARCHIVE 四种,分别对应标准存储、低频存储、冷存储、归档存储类型。
删除数据 概述 删除数据即删除存储空间(Bucket)中的文件(Object),BOS 允许您执行如下删除操作: 单个删除:删除某个指定的 Object。 批量删除:单次请求最多删除 1000 个 Object 。
存储桶 主账号/子用户 Console/API DeleteBucketReplication 删除跨区域同步复制配置 Bucket 存储桶 主账号/子用户 Console/API UpdateBucketLogging 开启/关闭Bucket的访问日志 Bucket 存储桶 主账号/子用户 Console/API CreateBucketLifecycle 创建生命周期管理规则 Bucket 存储桶
目标前缀:您可以选择文件在目标 Bucket 中的存储位置。若输入的前缀不存在,目的端 Bucket 将自动生成新的前缀。前缀不支持连续的/符号,若您输入的前缀中包含连续/如///,则/只保留一个。 目标存储类型:您可以设置文件在目的 Bucket 中的存储类型。目标 Bucket 的存储类型可以选择和源对象相同,也可以根据需要选择其它的存储类型。
按需付费 存储桶清单 清单功能费用 根据用户的清单任务配置,定期每天或者每周扫描用户 Bucket 中指定对象并输出一份CSV 格式的清单报告文件,其中会列出对象及其对应的元数据信息。系统按照存储桶清单功能列出的对象(文件)的个数计费,并按小时生成账单。
Flume数据存储到BOS Flume Flume是一个分布式、可靠性和高可用的海量日志聚合系统,支持在系统中定制各类数据发送方,用于收集数据;同时,FLume提供对数据进行简单处理,并写到各种数据接收方(可定制)的能力。 Flume支持多种Sink类型,可以借助HDFS Sink将收集到的数据存储到BOS。 开始 1. 下载并安装apache-flume 略 2.