数据迁移功能从自建MySQL或RDS for MySQL迁移至百度消息服务或自建Kafka集群 需求场景 适用于使用百度智能云 数据传输服务DTS (以下简称 DTS),将自建MySQL或RDS for MySQL数据库实例的数据迁移到 百度消息服务 或 自建Kafka集群 中。
执行管理 概述 执行管理展示了模版执行后产生的执行记录,您可以通过时间和模版名称检索所关注的执行记录查看执行中所有任务运行的全生命周期过程及其结果。平台最长保存30天内的历史记录。您也可以在执行管理页面创建新的执行。 创建执行 登录 运维编排OOS控制台 ,选择“执行管理”。 点击“创建执行”,在弹出的页面完善参数信息。 选择要执行的模版,您可以通过切换公共模版/我的模版,查看对应的模版。
执行概述 执行概述 成功创建一个模板之后,就可以基于这个模板创建一次执行。您可以将一次执行看做是模板的一个运行实例。 执行状态 一个执行被创建后,可能进行多种状态转换,以下为状态转换图。 状态说明如下: State 状态 说明 PENDING 等待中 表示执行正在等待被调度。
执行API 用途 此Operator可以用来调用某个云产品(如云服务器BCC)的OpenAPI。
如为高版本同步至低版本,可能存在数据库兼容性问题。 执行数据同步前需评估源库和目标库的性能,同时建议业务低峰期执行数据同步。否则全量数据初始化时将占用源库和目标库一定的读写资源,可能会导致数据库的负载上升。 特殊情况 当源库为自建 MySQL 时: 在同步时,如果源库进行主备切换,将会导致同步任务失败。
如为高版本同步至低版本,可能存在数据库兼容性问题。 执行数据同步前需评估源库和目标库的性能,同时建议业务低峰期执行数据同步。否则全量数据初始化时将占用源库和目标库一定的读写资源,可能会导致数据库的负载上升。 操作限制 迁移过程中请勿进行如下操作,否则会导致迁移任务失败。 任务在结构迁移和全量迁移的过程中,不支持 DDL 操作。
Binlog 日志,MySQL 需开启 Binlog,并且设置 binlog_format 为 row,否则预检查阶段提示报错。 在库表结构同步和全量同步阶段,请勿执行库或表结构变更的 DDL 操作,否则会导致数据同步任务失败。 其他限制 建议源和目标库版本保持一致,或者从低版本同步到高版本以保障兼容性。如为高版本同步至低版本,可能存在数据库兼容性问题。
数据同步问题 DTS是否支持本地搭建一个MySQL实例作为RDS实例的从库? 支持。混合云场景下,用户可以通过创建增量迁移任务实现,或者提交 工单 搭建同步任务。 如何实现数据库灾备? 可以通过数据同步实现数据库灾备。即新购买一个同源实例同规格的新实例用于灾备,然后两个实例间通过DTS实现数据实时同步。 数据同步能否修改同步源实例?
字段设置为非 NULL 更有利于语句查询,规避一些容易出现的问题,InnoDB 本身对 NULL 的处理有别于其它正常数据或空数据。 字段类型注意要点: 不建议使用ENUM,SET:原因在于不利于扩展,扩展变更表结构时会导致表阻塞写操作。 VARCHAR长度的选择,以UTF8不超过2600字符,GBK不超过4000字符为最佳,在业务中推荐不过7000字符长度。
迁移类问题 自有服务器的数据库如何迁移到百度云的RDS数据库? 如果您想把本地的数据库迁移到RDS云上,可以参考下 数据迁移典型实践 文档中的具体操作步骤。 如果在迁移过程中遇到了任何问题,您可以提交 数据库/云数据库RDS 工单,详细描述您的问题,提供以下内容:报错截图、实例ID、复现步骤,我方会有工程师给您处理解决。 阿里云RDS有数据,如何迁移到百度云RDS?