EDAP类型 选择数据集成目的端的类型为 EDAP 时,相关配置操作大部分与HIVE的配置操作类似,本小节重点说明EDAP类型相关配置操作的不同之处,其他操作HIVE类型。 在设置同步来源与目标时,选择目的端类型为hive,需指定数据库与数据表的存储路径,存储路径只有在写入设置中选择 自动建表 才会生效。 前置检查 完成任务配置后,转到离线任务创建列表并选择【前置检查】。
基本信息包括表名称、数据库等。 表一 表详情基础信息说明 字段名称 字段名称 表名称 表英文名 表中文名 采集表描述,作为表中文名 数据库 表所属数据库 创建时间 元数据创建时间 更新时间 元数据采集任务更新时间 类型 元数据的表类型。包括:物理表、映射表、外部表 创建人 采集任务的创建人 湖格式 元数据表所属的湖格式 数据标签 普通用户可以使用标签管理中已创建的标签对数据表打标签。
x27;connector.topic' = 'Device1_Unnested', 'connector.username' = 'xxxxxx/yyyyy', 'connector.password' = 'xxxxxxxx' ); ``` 编写数据提取DML语句 解析 source 表中的复杂嵌套
增量同步不支持同步关系型数据库的DDL语句 。 源端数据源为MySQL时,源端表中的enum/set/timestamp类型字段只能将二进制信息传给下游,用户需要自行按照上游MySQL表结构解析其释义 。 不支持同步源端数据源的二进制(binary)类型数据 。 迁移前置条件 环境要求 已创建作为迁移源端的数据源实例,如:RDS for MySQL、自建MySQL、自建Oracle等。
Engine) 和 时序时空数据库 (TSDB)消费。
SQL优化 数据库表结构优化 数据库安全加固 Redis Redis官方发布的5.0以上版本 安装部署建议 基本的连接访问问题排查协助 Redis性能优化 Redis内存管理 数据库安全加固 MongoDB MongoDB官方发布的3.6.17以上版本 安装部署建议 基本的连接访问问题排查协助 MongoDB性能优化 MongoDB高级聚合查询语法 数据库表结构优化 数据库安全加固 常见Web服务器
设置报警策略 支持自定义库表列名映射 可以实现对源跟目标实例的库名、表名或列名不同的两个对象之间进行数据同步。 库表列名映射 迁移数据过滤 可以对同步的表设置某种 SQL 条件过滤所需同步的数据。 设置过滤条件 任务状态说明 迁移任务在创建及运行过程中,不同阶段会处于不同状态,具体如下表所示。 任务状态 说明 可进行操作 未配置 迁移任务创建完成,尚未配置任务。
指定目标端实例中接收数据的对象,例如将多张库表聚合成大表。 需要提前在目标端实例中创建用于接收数据的对象,并确保数据的兼容性。迁移类型无需勾选 结构迁移 。 前提条件 任务未完成配置,并配置 DTS 任务传输对象为 手动选择 。 目前仅 MySQL、GaiaDB、PostgreSQL、Oracle 支持对象映射。 注意事项 任务一旦启动,请勿再执行库表列映射操作,否则可能导致数据丢失或任务失败。
在使用映射功能时,系统会将您设置的映射名作为新对象的名称,在目标库实例中进行对象的创建或匹配。 使用映射功能会有什么影响? 如果使用了对象名映射功能,可能会导致依赖这个对象的其他对象同步或迁移失败。 映射功能是否支持修改库表结构? 不支持。
写回至原表 写回至原表的前提要求如下: 数据模型没有使用示例数据源和公开数据源 数据模型中只使用了一个数据源 数据模型中只使用了一个物理表,如果您使用的是数据库中的视图,会出现写入失败的情况 数据模型中不能使用自定义 SQL 视图 Apache Doris (Baidu Palo) 类型的数据源由于不支持 update, alter 等操作,因此也不支持写回至原表 以内置预测服务为例,下图使用的 KMEANS