同源异库 同源异库是指同一个数据源中的不同数据库,例如 MySQL 中的 数据库A 和 数据库B 之间的跨库查询。除了 MySQL,Sugar BI 中目前还支持 Presto 数据源中的跨 catalog、schema 的同源异库查询。
自建MySQL迁移至GaiaDB 本文主要介绍自建 MySQL 实例和云原生数据库 GaiaDB 实例之间的数据迁移。 前提条件 自建 MySQL 数据库版本为 5.1、5.5、5.6、5.7 或 8.0 版本。 说明 若源端是其他云平台上的 MySQL 数据库,您还需要确保该数据库已开通公网访问权限。
在任务配置参数部分与其他数据源有些许不同。 连接设置 如上图所示,目前DTS的源端支持自建Oracle实例,Oracle源端配置参数说明如下: 接入类型 :支持公网、云服务器BCC、物理服务器BBC和专属服务器DDC的自建Oracle实例。 数据类型 :固定选择Oracle。 主机名/IP :填写Oracle数据库的访问IP。 端口 :填写Oracle数据库的服务端口。
SQL SELECT 条件,示例:n1,n2 fieldWhitelist N 列过滤(白名单),符合条件的列将被保留,支持数据库标准 SQL SELECT 条件,示例:n1,n2 where N 行过滤,符合条件的行将被保留,仅支持数据库标准 SQL WHERE 条件,Oracle 数据库注意区分字段名大小写。
在任务配置参数部分与其他数据源有些许不同。 连接设置 如上图所示,目前DTS的源端支持自建MySQL实例和云数据库RDS for MySQL实例。
其他限制 建议源和目标库版本保持一致,或者从低版本同步到高版本以保障兼容性。如为高版本同步至低版本,可能存在数据库兼容性问题。 执行数据同步前需评估源库和目标库的性能,同时建议业务低峰期执行数据同步。否则全量数据初始化时将占用源库和目标库一定的读写资源,可能会导致数据库的负载上升。
离线作业组开发支持作业组嵌套调度。 数据源管理、数据集成、数据开发支持数据库多版本选择。
如果源或目标数据库是 BCC/BBC/DCC 自建或 IDC 自建数据库或其他云数据库,则需要您手动添加对应地区 DTS 服务的 IP 地址,以允许来自 DTS 服务器的访问。
Proxy解析SQL,把写操作(比如事务、Update、Insert、Delete、DDL等)发送到主节点,把读操作(比如Select)均衡地分发到多个读节点,这个也叫读写分离。 通过Proxy把不同的业务用不同的连接地址,使用不同的数据节点。这样就可以避免相互影响,不会影响在线业务。 GaiaDB计算层 计算层由一个主节点(Primary)和最多15个从节点(Secondary)构成。
SQL解析 展示所选规则的sql逻辑。 其他字段参数 如果所选规则需要关联其他数据源,则选择其他字段参数。 系统内置规则模板中一致性校验需要选择参考数据源。自定义规则根据实际逻辑选择对应数据源。 告警条件 根据规则对应输出提示配置三级(L1 提示、L2 警告、L3 严重)告警条件。 开启任务阻塞 如果开启任务阻塞,该项规则校验产生 严重 告警时会阻塞下游任务节点。