设置数据同步
概述
BOS 提供数据同步功能,您可以在处于不同地域的 2 个 Bucket 之间建立数据的自动同步关系。当您设置好源 Bucket 和目标 Bucket 之后,BOS 将自动执行从源 Bucket 到目标 Bucket 间的数据同步。您还可以指定源 Bucket 内需要同步的数据范围,并设置是否同步历史数据。
数据同步功能能够很好的提供 Bucket 跨区域、跨账号或其他数据复制的需求。目标 Bucket 中的对象是源 Bucket 中对象的精确副本,它们具有相同的对象名、元数据以及内容,例如创建时间、拥有者、用户定义的元数据、Object ACL、对象内容等。
使用场景
您可能基于各种原因对 Bucket 配置数据同步,这些原因包括:
- 高效访问,减少延迟:跨 Region 访问 Bucket 或者 Object,访问速度会因地理上的差异而降低。通过数据同步功能可提前将需要的数据同步至目标 region,提高访问效率。
- 跨地域容灾:基于金融、政府等行业的合规性要求,在同一 Region 中虽然有数据多副本设置。但为了防止洪水、地震等机房级别灾害,也要求数据跨 Region 保存一份副本,BOS 的数据同步功能提供了这样的能力。
- 跨账号复制:适用于企业的多账号场景。处于数据安全和多备份考虑,企业希望将数据从 A 账号定期同步到 B 账号,以实现数据的跨账号复制和共享。
- 跨区域数据复用:由于业务原因例如跨 Region 搭建的计算集群需要使用同一组数据等场景,可以使用 BOS 数据同步功能复制数据副本。
设置数据同步
- 登录 对象存储 BOS 管理控制台。
- 在左侧 Bucket 列表中,选择需要设置权限的 Bucket,点击 Bucket 名称进入 Bucket 管理目录。
- 在上方导航栏选择 配置管理 页签。
- 在 配置管理 页面中选择 高级配置,在 数据同步配置 区域点击 开启配置 对该 Bucket 的数据同步进行配置。
- 在数据同步配置操作栏中,选择数据同步策略、数据同步对象、历史数据是否同步、同步目标区域、目标Bucket以及目标存储类型。
配置模块 | 配置说明 |
---|---|
规则基本信息 |
|
数据源设置 |
|
数据目标设置 |
|
说明:
- 数据同步的两个 Bucket 可以是跨区域的,也可以是同区域的。只有跨区域 Bucket 间的数据同步会触发流量费用,同区域 Bucket 间的数据同步,不会收取流量费用。
- 数据同步的两个 Bucket 可以是跨账号的,也可以是同账号的。请您仔细确认输入的目标 Bucket 名称准确无误。若目标账号中的目标 Bucket 处于其他区域,将产生跨区域流量费用,流量费用由源账号承担,目标账号承担存储和请求费用。
- 支持 Bucket 间的多规则同步,即一个源 Bucket 可以有多个目的 Bucket,一个目的 Bucket 可以有多个源 Bucket。假设有三个 Bucket,分别命名为 A、B、C:(1)支持将 A 作为 B 的源 Bucket 的同时,将 B 作为 C 的源 Bucket;(2)支持将 A 作为 B 的源 Bucket 的同时,将 B 作为 A 的源 Bucket;(3)支持将 A 同时作为 B 和 C 的源 Bucket;(4)支持将 C 同时作为 A 和 B 的目标 Bucket。
- 对非标准存储 Object 进行数据复制操作时,会触发数据取回费用。对于归档型 Object,数据同步暂时不支持,进行数据同步时会忽略归档型 Object。
- 对于处于同步状态的两个 Bucket,源 Bucket 复制过去的 Object 可能会覆盖目标 Bucket 中同名的 Object,使用中请注意。
- 由于数据同步采用异步复制,数据复制到目标 Bucket 需要一定的时间,通常几分钟到几小时不等,取决于数据的大小。
- 出于数据安全考虑,BOS 不会获取并返回跨账号同步的启动状态。若您已开启跨账号同步,建议您主动查询目的 Bucket 中是否已经开始数据同步进程。若源数据在 5 分钟内还未同步到目的账号 Bucket 中,请再次检查写权限是否开启。若写权限已开启后仍同步失败,请提交工单。
- 历史数据同步无法保证同步速度,如果着急使用,建议使用bcecmd工具拷贝Object功能进行同步。
- 如果使用数据同步的目的是用来复制迁移数据到其他桶或账号中,且规则中的数据同步策略设定为全量同步时。当数据完成同步之后,如需删除源端的数据,在删除源端数据前请切记关闭数据同步规则,避免目标端的数据被同步误删除。
- 点击 确认,完成配置。
查看同步进度
完成数据同步规则配置后,您通过控制台点击该条同步规则【操作】中的【详情】按钮,查看历史数据同步进度与实时同步时间点与详细的数据同步规则配置信息。
- 历史数据同步:您可以查看历史文件同步进度,掌握同步进展。
- 实时数据同步:您可以查看最近增量文件的数据同步时间点信息。
相关 API
- PutBucketReplication
- GetBucketReplication
- DeleteBucketReplication
- GetBucketReplicationProgress
- ListBucketReplication
注意事项
数据跨境合规承诺
您使用该产品或该功能,将使您在云上的业务数据传输至您所选择的区域或产品部署区域,可能会涉及数据跨境。
使用该功能代表您同意并确认,您完全拥有对相关业务数据的合法处置权限,并对您的数据传输行为或指令行为全权负责。您确认并承诺,您的数据传输符合所有适用法律的规定,包括并不限于获得数据主体充分、明示同意,完成数据出境安全评估,与接收方签署个人信息出境标准合同等法定义务,且您承诺您的业务数据不含任何所适用法律限制、禁止传输或披露的内容(具体合规要求请您咨询相关主管部门)。
如您未遵守前述声明与保证,您将承担全部法律后果,并赔偿百度智能云和/或其关联公司遭受的全部损失。
如因法律法规、监管政策规定导致百度智能云须变更或停止提供本产品功能,您理解并同意这并不属于百度智能云违约。百度智能会为您提供服务变更或停止的过渡期协助。