如果创建数据迁移任务时,同时选择了全量数据迁移和增量数据迁移,则迁移过程中会先将源库中静态数据迁移到目标库,然后将增量数据同步到目标库。 DTS迁移过程中对源数据库是否有影响,是否会删除源库中数据?
云服务器BCC :高性能、高可靠、安全稳定的弹性计算服务 云数据库 SCS :兼容 Redis、Memcached 协议的分布式缓存服务 云数据库 RDS :专业、高性能、高可靠的关系型数据库 相关产品 数据传输服务DTS 提供数据迁移、数据同步、数据订阅于一体的数据库数据传输服务
在百度智能云上新建前端业务与迁移后的数据库对接,对前端业务进行测试,确保业务可以正常运行。注意:此时线上业务仍对接用户自有数据库,并将增量数据同步至百度智能云。 测试通过后,配置百度智能云前端应用与迁移后的数据库对接。 观察用户自有数据库是否仍有残余流量。若有残余流量,说明个别模块仍在使用老数据库,此时需要对所有模块进行排查;若无参与流量,此时可断开增量同步。
核 CPU、64GB 内存、1 块 100GB ESSD PL1 云磁盘 测试版本为 PALO-2.1.5 关闭打印 parpared 语句的 audit log 以提高性能 数据集 tpch sf10 lineitem 表数据集,30 个文件,总共约 22 GB,1.8 亿行 测试工具 DataX
功能特性 0代码数据集成 多源异构数据的分布式集成工具 离线数据同步,数据库、MPP数仓、Nosql、对象存储、HDFS分布式文件系统等异构数据源的定时、周期性同步。 实时流采集,支持http ,kafka 实时流数据同步到 DB、MPP数仓、Nosql、对象存储、HDFS分布式文件系统等数据源。 数据库准实时,基于CDC 实时捕获同步发生变化的数据。 Http、Ftp等数据类型的采集同步。
注意事项 由于执行业务切换操作需要停止数据库写入并暂停业务,请选择业务低峰期操作以降低影响。 操作步骤 (可选)创建一键反向任务,详情参见 创建一键反向任务 。 等待数据迁移任务的进度变更为 复制变更 ,并且延迟显示低于 5 秒。 说明 如果数据传输任务在配置时未勾选 增量同步 ,进度条不会变更为 复制变更 ,且迁移完成后会自动结束任务。
即使用浏览器来访问 http://部署的机器ip:8000/migration 10 # 如果数据库结构同步成功,就表明您升级完成了,就可以愉快的使用升级后的新版Sugar BI了 需要说明的是Sugar BI不支持降级,一旦升级就不能再回退到之前的老版本。
同步数据库 migration 时失败 在执行同步数据库 migration 时,有时会出现类似这样的错误: 一般是部署Sugar BI的机器连接不上数据库对应的 ip 地址(可以 ping 一下试试)、或者端口不对,也有可能时 docker 安装的问题导致容器内部连接不上对应的 ip 地址,这个时候可以重启 docker 试试。
mysql dbUser String 否 数据库访问账号 dts_trans dbPass String 否 数据库访问密码 dbPort Integer 否 数据库访问端口 3306 dbHost String 否 数据库ip或主机名 192.168.1.1 dbServer String 否 数据库ip或主机名.支持ip:端口,ip或域名与端口以英文冒号分隔,多个地址以英文逗号分隔 192.168.1.1
增量同步不支持同步关系型数据库的DDL语句 。 源端数据源为MySQL时,源端表中的enum/set/timestamp类型字段只能将二进制信息传给下游,用户需要自行按照上游MySQL表结构解析其释义 。 不支持同步源端数据源的二进制(binary)类型数据 。 迁移前置条件 环境要求 已创建作为迁移源端的数据源实例,如:RDS for MySQL、自建MySQL、自建Oracle等。