批量处理
更新时间：2022-10-12
概述
批量处理功能支持用户对BOS存储桶内指定的对象列表执行指定的批量处理操作。您首先需要指定一份待处理对象清单，完成批量处理任务配置后，BOS即可根据清单执行批量处理任务。
说明： 目前仅支持对华北-北京、华东-苏州、华南-广州地域的存储桶中的文件进行批量处理操作。
批量处理任务类型
目前支持的批量处理任务类型包括批量数据复制和批量取回归档文件。
- 批量数据复制：将指定源 Bucket 中的部分或全部对象复制到指定目标 Bucket 的指定目录下，支持为复制后的对象选择新的存储类型、对象元数据、访问权限等配置信息。如遇数据复制的源 Bucket 和目标 Bucket 所在地域不同，会产生跨区域流出流量费用。
- 批量取回文件：通过配置一个批量取回任务批量取回归档文件，取回后自动生成一份标准存储类型的临时副本文件，在有效期内该副本文件可以正常读取，不受取回限制。
创建批量处理任务
准备工作
- 创建 csv 格式的待处理对象清单列表。清单列表是记录所有待处理对象的列表文件，用于告知BOS待处理的文件。自定义的CSV文件支持指定为，每行两列，并按照文件所属Bucket名称、文件名称（Key值）顺序排列。如下图：
- 将自定义 csv 文件上传至存储桶。
使用控制台创建批量处理任务
- 登录对象存储 BOS 管理控制台。
- 在控制台左侧全局导航栏中选择数据魔方-批量处理入口，进入批量处理任务管理页面。
- 点击创建任务，创建批量处理任务。
| 参数 | 参数说明 |
|---|---|
| 清单格式 | 待处理对象列表的格式，当前仅支持 csv 格式。 |
| 清单所在Bucket | csv 文件所在的 Bucket。 |
| 清单文件路径 | csv 文件的具体路径。 |
| 任务类型 | 1.批量数据复制 · 目标 Bucket：复制后的数据存放的 Bucket。 · 前缀：对复制后的文件的前缀或目录前缀进行添加、替换或者删除。 · 存储类型：复制后文件的存储类型。目的Bucket为单 AZ 类型时，存储类型仅支持单 AZ；目的 Bucket 为多 AZ 类型时，存储类型仅支持多 AZ。 · 对象元数据：对复制后的文件设置元数据，可选项为复制所有元数据或替换或添加部分元数据。 · 访问权限：对复制后的文件设置访问权限，可选项为私有、公共读、与bucket保持一致。 2.批量取回文件 · 副本有效期：副本在多少天后自动过期删除，范围为 7-30 天。 |
| 任务优先级 | 非零整数，范围0 - 2147483647，数字越大表明优先级越高。 |
| 任务描述 | 批量处理任务的描述信息。 |
| 任务报告 | 是否需生成任务报告。若选择生成任务报告，需配置生成任务报告的操作范围、存储报告的Bucket、报告的名称目录前缀。 |
- 确认无误后，单击完成创建批量处理任务成功。
- 创建成功后，可在批量处理任务列表中查看任务的状态、进度、详情等。当任务状态为准备中或进行中时，可取消任务。当任务状态为等待启动/取消中/已取消/已完成/任务失败时，可删除任务。
- 任务列表中的批量处理任务在任务结束后保留90天，过期将自动删除。