实时同步 实时同步即将源端数据实时同步至目标端,确保目标数据持续更新以反映源端的变化。此过程对于需要最新数据的应用程序至关重要,例如实时分析和运营监控等。本文主要介绍了实时同步的基础条件、进入实时同步的步骤、操作步骤和任务配置等内容,旨在帮助读者理解和掌握实时同步的功能和操作方法。
离线同步 离线同步作为离线数据迁移的主要产品,承担了离线数据上云等数据迁移的重要工作,为整个离线数据开发提供数据,起到了数据准备的作用。目前版本数据集成在数据源端支持 MySQL、SQL Server、Oracle、PostgreSQL、Hana 数据库,在目的端支持 Hive、Doris 以及 DataBuilder 。
不同库名间的数据同步 数据传输服务 DTS 支持在配置数据传输任务时对数据库、表、列的名称进行映射,来设置任务对象在目标库实例中的名称。您可以通过该功能将数据同步到目标端中指定的数据库、数据表或字段(列),或在目标库实例中创建一个与任务对象结构相同但名称不同的对象。 适用场景 场景 说明 在目标库实例中创建一个新对象并接收任务数据。
查看同步进度 完成数据同步规则配置后,您可通过控制台点击该条同步规则【操作】中的【预览】按钮,查看历史数据同步进度与实时同步时间点与详细的数据同步规则配置信息。 历史数据同步:您可以查看历史文件同步进度,掌握同步进展。 实时数据同步:您可以查看最近增量文件的数据同步时间点信息。 详细操作请参考 控制台数据同步进度查询 。
若用户想获取bucket指定id的数据同步信息,包括源Bucket名称、目的Bucket名称、存储类型、是否进行历史复制、数据同步策略、目的region等。
数据同步问题 DTS是否支持本地搭建一个MySQL实例作为RDS实例的从库? 支持。混合云场景下,用户可以通过创建增量迁移任务实现,或者提交 工单 搭建同步任务。 如何实现数据库灾备? 可以通过数据同步实现数据库灾备。即新购买一个同源实例同规格的新实例用于灾备,然后两个实例间通过DTS实现数据实时同步。 数据同步能否修改同步源实例?
历史数据同步无法保证同步速度,如果着急使用,建议使用 bcecmd工具 拷贝Object功能进行同步。 如果使用数据同步的目的是用来复制迁移数据到其他桶或账号中,且规则中的数据同步策略设定为全量同步时。当数据完成同步之后,如需删除源端的数据,在删除源端数据前请切记关闭数据同步规则,避免目标端的数据被同步误删除。 如果数据同步规则已经开启同步历史数据,修改规则会导致已经同步过的历史数据再次同步。
数据同步配置 Bucket数据同步配置 设置数据同步规则 基本流程 创建BosClient。 执行putBucketReplication()方法。
包括源Bucket名称、目的Bucket名称、存储类型、是否进行历史复制,数据同步策略,目的region等。
数据同步 为了方便数据发布生成数据API,需要将数据湖中的数据进行导出,本示例通过可视化ETL作业,将数据从EDAP数据湖同步到RDS。 数据湖数据导出到RDS 1、进入项目“产品体验测试”,选择可视化作业,在画布中添加源端插件DataLakeSource、目标端插件DataBase。 2、点击插件进行属性配置,源端数据表为test_stu,目标端数据表为mysql_stu。