增量同步使用物化视图日志(mlog)方案时:若需要同时选择全量和增量迁移,源端不可存在迁移表相关的物化视图日志;若只选择增量迁移,需要提前在源端创建迁移表相关的物化视图日志。 增量同步使用归档日志(logminer)方案时:需按要求开启归档模式和Supplemental Logging,详情可见下文: 对象映射配置 。
成功创建access_logs表之后,点击Hive Editor左侧的刷新按钮,找到access_logs表并预览示例数据: 查询 定了表之后,便可以进行查询了。
若您的 MySQL 数据库部署在本地,您需要将 DTS 服务器的 IP 地址添加到该数据库远程连接的白名单中,以允许其访问您的数据库。更多信息,请参见 添加 DTS 服务 IP 白名单 。 已创建存储空间大于自建 MySQL 数据库占用存储空间的目标 GaiaDB 实例。创建方式,请参见 购买集群 。
您可以使用百度云控制台启动百度云的RDS MySQL 实例 参见 创建RDS for Mysql主实例 创建RDS之后,请 开通公网访问 和 设置SSL加密 创建数据库exampledb 创建用户 记下数据库名称、用户名称和密码。您还需要数据库实例的公网地址和CA证书,您可以从 RDS 控制台获取该信息(您可能需要等待,直到实例状态变为可用并且终端节点值显示在控制台中)。
db_name 数据源所在数据库的名称。如需创建关系型数据库RDS实例,请参考 创建数据库 。 table_name 数据源在所数据表的名称。如需创建数据表,请先登录到关系型数据库RDS实例中创建,请参考 连接RDS实例 。 --username和--password 数据源所在数据库的账号和密码。请至RDS实例中获取信息,请参考 创建账号 。
在库表结构同步和全量同步阶段,请勿执行库或表结构变更的 DDL 操作,否则会导致数据同步任务失败。 其他限制 建议源和目标库版本保持一致,或者从低版本同步到高版本以保障兼容性。如为高版本同步至低版本,可能存在数据库兼容性问题。 执行数据同步前需评估源库和目标库的性能,同时建议业务低峰期执行数据同步。否则全量数据初始化时将占用源库和目标库一定的读写资源,可能会导致数据库的负载上升。
连接数据源 连接数据源,是指让Sugar BI和我们的数据库(包括 MySQL、Oracle、SQL Server 等)之间建立连接,让Sugar BI能够使用和查询数据库中的数据。以 MySQL 数据库作为示例,假设我们已经有了一个 MySQL 数据库,并且数据库中已有要分析和展示的数据。在空间工作台左侧菜单的「数据源」中,可以添加数据源: 数据源的配置详情请见: 详细的连接方法 。
方案概述 ### 使用限制 不支持结构迁移 增量同步不支持同步关系型数据库的DDL语句 源端数据源为MySQL时,源端表中的enum/set/timestamp类型字段只能将二进制信息传给下游,用户需要自行按照上游MySQL表结构解析其释义 不支持同步源端数据源的二进制(binary)类型数据 迁移前置条件 环境要求 已创建作为迁移源端的数据源实例,如:RDS for MySQL、自建MySQL
限制说明 待同步的表需具备主键或唯一约束,且字段具有唯一性,否则可能会导致目标数据库中出现重复数据。 增量同步使用物化视图日志(mlog)方案时:若需要同时选择全量和增量迁移,源端不可存在迁移表相关的物化视图日志;若只选择增量迁移,需要提前在源端创建迁移表相关的物化视图日志。
DTS支持上下游库表名映射、列过滤黑白名单等功能。可以点击【编辑】,对每一个迁移对象配置映射和过滤规则。目标数据库对象可以映射为源库中database和schema: 1. 数据库对象映射为源库中的Database : 忽略PostgreSQL中的schema, PostgreSQL中不同schema下的表均映射到mysql指定库中,目标端库名默认使用源端的库名。 2.