在库表结构同步和全量同步阶段,请勿执行库或表结构变更的 DDL 操作,否则会导致数据同步任务失败。 若源库有长事务,且实例包含增量迁移任务,则可能会导致源库长事务提交前的预写日志 WAL(Write-Ahead Logging)无法清理而堆积,从而造成源库磁盘空间不足。 其他限制 一个 DTS 任务只能对一个数据库进行数据迁移,如果有多个数据库需要迁移,则需要为每个数据库创建数据迁移任务。
准备环境 环境要求 部署环境只需网络上可连接到 MySQL 数据库的机器即可,建议不要在待评估的数据库设备上运行。 部署环境最低应满足以下配置要求: 操作系统:Linux(其他操作系统暂不支持)。 网络:能够连接到待采集的源数据库。 CPU:1 core。 内存:4 GB。 硬盘:5 GB 空余。 PHP:已安装 PHP 5 及以上版本运行环境。
迁移对象选择的粒度为库或表。若迁移对象选择的是表,则其他对象例如视图、触发器、函数或存储过程等,不会被迁移至目标库。 为保证数据迁移的性能和迁移任务的稳定性,DTS 会对 MySQL 的触发器进行改写,改写方式详情参见 触发器改写方式 。
从MySQL导入和同步 本页介绍了MySQL与ClickHouse集成的两个方面: 使用MySQL表引擎,从MySQL表中读取 使用MaterializedMySQL数据库引擎,将MySQL中的数据库与ClickHouse中的数据库同步 使用MySQL表引擎将ClickHouse连接到MySQL MySQL表引擎允许您将ClickHouse连接到MySQL。
使用映射功能会有什么影响? 如果使用了对象名映射功能,可能会导致依赖这个对象的其他对象同步或迁移失败。 映射功能是否支持修改库表结构? 不支持。
其他字段的详细介绍,请参阅 Stream Load 命令文档。 使用建议 Stream Load 只能导入本地文件。 建议一个导入请求的数据量控制在 1 GB 以内。如果有大量本地文件,可以分批并发提交。
此查询创建一个新的复制表,或向现有表添加一个新副本。 如果在表已包含其他副本上的一些数据后添加新副本,则在运行查询后,数据将从其他副本复制到新副本。换句话说,新的复制品会与其他复制品同步。 要删除副本,请运行 DROP TABLE 。但是,只会删除一个副本,即位于运行查询的服务器上的副本。
而图中dtstest.multi_pk_tbl3表并未配置表名映射,因此其映射后表名仍为multi_pk_tbl3,所以其对应的下游索引名为:dtstest_multi_pk_tbl3。 如果选择库级别迁移,则只能配置库名映射,无法配置表名映射。下游索引名:映射后库名_表名。 如:test库下有tbl1一张表,任务选择迁移test库,并配置库名映射为:test->alpha。
概览 业务在长期运行过程中,由于最初表结构设计的不合理或是数据量日渐增长,有可能面临将一张原始表拆分为多张表的数据拆分需求。通过DTS实时迁移任务以及库表列名映射与行列过滤功能,您只需要秒级停机时间即可轻松完成库表的在线拆分。 2. 需求场景1:将表中数据纵向拆分 将一张表中的不同列分别拆到不同表中,称为数据的纵向拆分。
相关产品 云数据库 RDS :专业、高性能、高可靠的关系型数据库 相关产品 云数据库RDS 专业的关系型云数据库服务,提供Web 界面管理、数据备份和恢复功能、安全管理和监控等服务 数据传输服务DTS 提供数据迁移、数据同步、数据订阅于一体的数据库数据传输服务,在不停服的前提下轻松完成数据库迁移