数据同步
概述
数据同步 (Replication) 是 BOS 数据中心 (Region) 的存储空间 (Bucket) 之间自动、异步复制文件 (Object) 的功能,它会将 Object 的创建、更新和删除等操作从源存储空间复制到目标存储空间。
数据同步功能能够很好的提供Bucket跨区域、跨账号或其他数据复制的需求。目标 Bucket 中的对象是源 Bucket 中对象的精确副本,它们具有相同的对象名、元数据以及内容,例如创建时间、拥有者、用户定义的元数据、Object ACL、对象内容等。
使用场景
您可能基于各种原因对 Bucket 配置数据同步,这些原因包括:
- 高效访问,减少延迟:跨 Region 访问 Bucket 或者 Object,访问速度会因地理上的差异而降低。通过数据同步功能可提前将需要的数据同步至目标 region,提高访问效率。
- 跨地域容灾:基于金融、政府等行业的合规性要求,在同一 Region 中虽然有数据多副本设置。但为了防止洪水、地震等机房级别灾害,也要求数据跨 Region 保存一份副本,BOS 的数据同步功能提供了这样的能力。
- 跨账号复制:适用于企业的多账号场景。处于数据安全和多备份考虑,企业希望将数据从 A 账号定期同步到 B 账号,以实现数据的跨账号复制和共享。
- 跨区域数据复用:由于业务原因例如跨 Region 搭建的计算集群需要使用同一组数据等场景,可以使用 BOS 数据同步功能复制数据副本。
操作方式
BOS同时支持使用控制台与使用SDK进行跨区域复制,具体如下:
- 使用控制台进行数据同步
-
使用API进行数据同步
-
使用SDK进行数据同步:
使用说明
- 可以通过定义文件名前缀的方式指定源 Bucket 中待同步的数据,也可直接同步源 Bucket 全部数据。
- 目标 Bucket 的存储类型可以选择和源对象相同,也可以根据需要选择其它的存储类型。
- 对非标准 Object 进行数据复制操作时,会触发取回费用。
- 目的 Bucket 文件的存储类型不支持归档存储。
- 规则添加成功后可以在列表中看到当前 Bucket 已有的同步策略,也可以编辑和删除。
- 开启历史文件复制后,历史 Object 将匹配增量数据中的前缀规则,仅同步属于同一前缀的文件;若指定同步 Bucket 内全部数据,则历史也全部同步。
- 数据同步的两个 Bucket 可以是跨区域的,也可以是同区域的。只有跨区域 Bucket 间的数据同步会触发流量费用,同区域 Bucket 间的数据同步,不会收取流量费用。
- 数据同步的两个 Bucket 可以是跨账号的,也可以是同账号的。请您仔细确认输入的目标 Bucket 名称准确无误。若目标账号中的目标 Bucket 处于其他区域,将产生跨区域流量费用,流量费用由源账号承担,目标账号承担存储和请求费用。
-
支持 Bucket 间的多规则同步,即一个源 Bucket 可以有多个目的 Bucket,一个目的 Bucket 可以有多个源 Bucket。假设有三个 Bucket,分别命名为 A、B、C:
- 支持将 A 作为 B 的源 Bucket 的同时,将 B 作为 C 的源 Bucket;
- 支持将 A 作为 B 的源 Bucket 的同时,将 B 作为 A 的源 Bucket;
- 支持将 A 同时作为 B 和 C 的源 Bucket;
- 支持将 C 同时作为 A 和 B 的目标 Bucket。
- 出于数据安全考虑,BOS 不会获取并返回跨账号同步的启动状态。若您已经设置并开启跨账号同步,请主动查询目的账号中数据同步是否已经开启。若源数据在 5 分钟内还未同步到目的账号 Bucket 中,请再次检查写权限是否开启。若写权限已开启后仍同步失败,请提交工单。
使用限制
- 对于处于同步状态的两个 Bucket,源 Bucket 复制过去的 Object 可能会覆盖目标 Bucket 中同名的 Object,使用中请注意。
- 由于数据同步采用异步复制,数据复制到目标 Bucket 需要一定的时间,通常几分钟到几小时不等,取决于数据的大小。
查看同步进度
完成数据同步规则配置后,您可通过控制台点击该条同步规则【操作】中的【预览】按钮,查看历史数据同步进度与实时同步时间点与详细的数据同步规则配置信息。
- 历史数据同步:您可以查看历史文件同步进度,掌握同步进展。
- 实时数据同步:您可以查看最近增量文件的数据同步时间点信息。
详细操作请参考控制台数据同步进度查询。
注意事项
数据跨境合规承诺
您使用该产品或该功能,将使您在云上的业务数据传输至您所选择的区域或产品部署区域,可能会涉及数据跨境。
使用该功能代表您同意并确认,您完全拥有对相关业务数据的合法处置权限,并对您的数据传输行为或指令行为全权负责。您确认并承诺,您的数据传输符合所有适用法律的规定,包括并不限于获得数据主体充分、明示同意,完成数据出境安全评估,与接收方签署个人信息出境标准合同等法定义务,且您承诺您的业务数据不含任何所适用法律限制、禁止传输或披露的内容(具体合规要求请您咨询相关主管部门)。
如您未遵守前述声明与保证,您将承担全部法律后果,并赔偿百度智能云和/或其关联公司遭受的全部损失。
如因法律法规、监管政策规定导致百度智能云须变更或停止提供本产品功能,您理解并同意这并不属于百度智能云违约。百度智能会为您提供服务变更或停止的过渡期协助。