设置存储空间清单

更新时间：2021-09-10

概述

存储空间清单是一种帮助用户管理存储桶中对象的功能。BOS 可根据用户的清单任务配置，定期每天或者每周扫描用户 Bucket 中指定对象并输出一份清单报告，以 CSV 格式文件的形式存储到用户指定的 Bucket 中。CSV 文件中会列出对象及其对应的元数据，并根据用户的配置信息，记录用户所需的对象属性信息。

说明：

当前该功能在华北-北京、华东-苏州和华南-广州区域全量开放。

使用场景

清单是一种帮助用户管理存储桶中对象的功能，可以有计划地取代对象存储的 List API 操作。您可以使用清单功能实现包括但不限于以下基本用途：

定期审核并输出文件列表及文件相关属性。
通过定期扫描简化并加快业务工作流，无需通过脚本实现，简单配置即可定期输出文件报告。

使用前须知

在配置清单前，您需要了解两个概念：

源存储桶：想要开通清单功能的存储桶。
- 包含清单中所列出的对象。
- 包含清单的配置。

目标存储桶：存储清单的存储桶。
- 包含清单列表文件。
- 包含 Manifest 文件，描述清单列表文件的位置。

设置存储空间清单

登录对象存储 BOS 管理控制台。
在左侧 Bucket 列表中，选择需要设置权限的 Bucket，点击 Bucket 名称进入 Bucket 管理目录。
在上方导航栏选择 配置管理 页签。
在 配置管理 页面中选择 高级配置，在 清单配置 区域点击 新增配置，创建清单规则。

5.设置清单规则

配置名称	配置描述
清单状态	开启：清单规则创建后立即生效，BOS 根据规则配置定期扫描并输出报告关闭：仅创建清单规则创建但不开启规则，后续可自行开启
清单名称	输入清单规则名称，只能包含大小写字母，数字和-_ .；必须以字母开头,长度1-64
清单存储位置	输出清单报告的存储位置，需为当前地域下的其他 Bucket，不支持存放到当前 Bucket
报告清单前缀	输入清单前缀名称。您可自定义一个名称，作为该策略下生成的清单报告前缀。
包含文件范围	可设置对整个 Bucket 文件生效或者仅对前缀文件生效
清单导出周期	您可以设置每三天或者每周导出一次清单
清单导出格式	当前支持导出 CSV 格式清单报告

说明：

每个 Bucket 最多同时创建 20 条清单规则。当超过规则数量上限后，您需要删除已有规则后重新创建；

BOS 的清单功能目前免费提供。

6.编辑或者删除清单规则

您可以对已创建的清单规则进行编辑，如将关闭的清单规则设置为开启状态。您也可以将已创建的清单规则删除。规则删除后，BOS 将不会按照该规则继续为您输入清单报告。

清单报告存储路径

清单报告存放位置：清单报告会发布在目标存储桶中，其中清单报告会发布在以下路径：

destination-prefix/[source-bucket]/[config-ID]/[YYYY-MM-DDTHH-MMZ]/xxx.csv

Manifest 相关文件存放位置：相关的 Manifest 文件会发布在目标存储桶以下路径：

destination-prefix/[source-bucket]/[config-ID]/[YYYY-MM-DDTHH-MMZ]/manifest.json
destination-prefix/[source-bucket]/[config-ID]/[YYYY-MM-DDTHH-MMZ]/manifest.checksum

路径字段代表的含义

desitination-prefix：是您在配置清单时设置的“报告清单前缀”，可用于对目标存储桶中的公共位置的所有清单报告进行分组。
source-bucket：是清单报告对应的源存储桶名称，加入这个文件夹是为了避免在多个源存储桶将各自清单报告发送至同一目标存储桶时可能造成的冲突。
config-ID：是您在配置清单时设置的“清单名称”，当同一源存储桶设置多个清单报告并将其发送至同一目标存储桶时，可以用 config-ID 区分不同的清单报告。
YYYY-MM-DD-HH-MM：时间戳，包含生成清单报告时开始存储桶扫描的时间和日期。
manifest.json：指 Manifest 文件。
manifest.checksum：指 manifest.json 文件内容的 MD5。

清单内容

清单的生成内容包括清单 CSV 文件列表和相关的 Manifest 文件。

清单CSV文件列表内容

输出的清单文件列表中包含如下内容：

字段说明	说明
Bucket	Bucket 名称
Key	文件名称
Size	文件数据长度
Etag	对象的哈希。可能是对象数据 base64 编码的 MD5 摘要，这取决于对象的创建方式
StorageClass	文件的存储类型
CreateTime	文件的创建时间。时间格式为：yyyy-mm-ddThh:mm:ssZ 。如：2016-09-07T00:00:00Z（UTC）

Manifest文件内容

Manifest 文件包含如下内容：

字段说明	说明
sourceBucket	清单报告对应的源存储桶名称
destinationBucket	放置导出文件的目标存储桶名称
version	导出的版本。格式为”year-month-day“, 如”2021-11-03“
fileFormat	报告的格式
fileSchema	报告的架构
files	目标存储桶中的导出报告文件的实际列表。包含 key（清单文件的名称）、size（清单文件的大小）、md5Checksum（该文件的 md5 值）

Manifest 报告示例如下：

{
   "sourceBucket": "src-bucket-name",
   "destinationBucket":"destination-bucket-name",
   "version":"2020-11-03",
   "fileFormat":"CSV",
   "fileSchema":"Bucket,Key,Size,etag,StorageClass,PutDate,CreateTime",
   "files":[
        {
            "key":"destination-prefix/[source-bucket]-[config-ID]-[YYYY-MM-DDTHH-MMZ]-index.csv",
            "size":1603959,
            "md5Checksum":"2177e775870def72b8d84febe1ad3574"
        }
      ]
}

API 参考

PutBucketInventory：用于为源bucket中创建清单任务，您可以对清单任务命名后，使用该请求创建清单任务；
GetBucketInventory：使用 GET 操作来获取指定桶的某个清单配置。

设置合规保留

设置访问日志

对象存储 BOS

对象存储 BOS

设置存储空间清单

概述

使用场景

使用前须知

设置存储空间清单

清单报告存储路径

路径字段代表的含义

清单内容

清单CSV文件列表内容

Manifest文件内容

API 参考