限制说明 应用限制 类型 说明 源端限制 待同步的表需具备主键或唯一约束,且字段具有唯一性,否则可能会导致目标数据库中出现重复数据。 如同步对象为表级别,单次同步任务支持的表数量有限,当超出数量限制,任务提交后会显示请求报错,此时建议您拆分待同步的表,分批配置多个任务,或者配置整库的同步任务。
将MySQL作为源端 1 适用场景 本文适用于使用百度智能云数据传输服务DTS(以下简称DTS),将自建MySQL实例或云数据库RDS MySQL实例中的数据迁移至DTS已经支持的数据目标端的场景。 2 将MySQL数据库作为DTS源的限制 如果源库中待迁移的表没有主键或唯一约束,且所有字段没有唯一性,可能会导致目标数据库中出现重复数据。
使用RDS数据库中的另一张表test_export,指定hive中已经存在的表sqoop_hive。
PostgreSQL检查项 数据传输服务 DTS 配置 PostgreSQL 的传输任务时,会先对数据库进行各项检查。本文介绍检查项的详细信息。
设置报警策略 支持自定义库表列名映射 可以实现对源跟目标实例的库名、表名或列名不同的两个对象之间进行数据同步。 库表列名映射 迁移数据过滤 可以对同步的表设置某种 SQL 条件过滤所需同步的数据。 设置过滤条件 任务状态说明 迁移任务在创建及运行过程中,不同阶段会处于不同状态,具体如下表所示。 任务状态 说明 可进行操作 未配置 迁移任务创建完成,尚未配置任务。
setStatistics 请求参数 名称 类型 位置 是否必填 描述 databaseName String URL 是 数据库名 tableName String URL 是 表名 numFiles Long Body 否 文件个数 numRows Long Body 否 行数 rawDataSize Long Body 否 原始数据大小 totalSize Long Body 否 存储数据大小
操作步骤 连接数据源 连接数据源,是指让Sugar BI和我们的数据库(包括 MySQL、Oracle、SQL Server 等)之间建立连接,让Sugar BI能够使用和查询数据库中的数据。以 MySQL 数据库作为示例,假设我们已经有了一个 MySQL 数据库,并且数据库中已有要分析和展示的数据。 数据源的配置详情请见: 详细的连接方法 。
限制说明 待同步的表需具备主键或唯一约束,且字段具有唯一性,否则可能会导致目标数据库中出现重复数据。 增量同步使用物化视图日志(mlog)方案时:若需要同时选择全量和增量迁移,源端不可存在迁移表相关的物化视图日志;若只选择增量迁移,需要提前在源端创建迁移表相关的物化视图日志。
MySQL MySQL官方发布的 5.x 版本 安装部署建议 基本的连接访问问题排查协助 SQL优化 数据库宕机日志排查 数据库表结构优化 数据库安全加固 Microsoft SQL Server 微软官方发布的SQL Server 2008/2012 版本 安装部署建议 基本的连接访问问题排查协助 SQL优化 数据库表结构优化 数据库安全加固 Redis Redis官方发布的5.0以上版本 安装部署建议
例如,检查源库和目标库的连通性、数据库账号权限、Binlog 设置、数据库版本号等是否满足要求。 结构迁移 在结构迁移阶段,DTS 将待迁移对象的结构定义从源数据库迁移到目标数据库,例如表、视图、触发器和存储过程。 全量数据迁移 在全量数据迁移阶段,DTS 会将源数据库的存量数据全部迁移到目标数据库。