迁移对象选择的粒度为库或表。若迁移对象选择的是表,则其他对象例如视图、触发器、函数或存储过程等,不会被迁移至目标库。 为保证数据迁移的性能和迁移任务的稳定性,DTS 会对 MySQL 的触发器进行改写,改写方式详情参见 触发器改写方式 。
GET twitter/_doc/0 数据视图 业务场景 数据视图就是将源端数据源多张实体表的数据拼成一个视图,并保存到目标端Elasticsearch实例的同一个索引中。 如上图所示,源端数据源中存在三张实体表:tbl_name、tbl_age、tbl_address。其中,三张表中主键相同且均为pk_id,但表中其他字段相异。
支持自定义库表列名映射 可以实现对源跟目标实例的库名、表名或列名不同的两个对象之间进行数据同步。 迁移数据过滤 可以对同步的表设置某种 SQL 条件过滤所需同步的数据。 任务状态说明 迁移任务在创建及运行过程中,不同阶段会处于不同状态,具体如下表所示。 任务状态 说明 可进行操作 未配置 迁移任务创建完成,尚未配置任务。 配置任务、结束 未启动 迁移任务已经完成任务配置,尚未启动预检查。
目标端配置 属性项名称 属性项含义 输入规范 数据源类型 目标端数据源类型 下拉选择,Hive、EDAP、Doris 数据源名称 目标端数据源名称 -- 数据库 目标端数据库 -- 选择已有表 写入已有表时,字段进行同名映射,如果对应不上,执行时会报错 -- 自动建表 默认填充表同名映射,支持修改,点击“同名映射”可快速填充 表名称输入规范:支持字母、数字、下划线,不超过32个字符 执行脱敏任务
连接数据源 连接数据源,是指让Sugar BI和我们的数据库(包括 MySQL、Oracle、SQL Server 等)之间建立连接,让Sugar BI能够使用和查询数据库中的数据。以 MySQL 数据库作为示例,假设我们已经有了一个 MySQL 数据库,并且数据库中已有要分析和展示的数据。 数据源的配置详情请见: 详细的连接方法 。
该功能通常用于管理一些其他命令中需要使用到的文件,如证书、公钥私钥等等。 CREATE FILE file_name [ IN database ] [ properties ] file_name :自定义文件名。 database :文件归属于某一个数据库。如果没有指定,则使用当前数据库。 properties 支持以下参数: url :必须。指定一个文件的下载路径。
x27;connector.topic' = 'Device1_Unnested', 'connector.username' = 'xxxxxx/yyyyy', 'connector.password' = 'xxxxxxxx' ); ``` 编写数据提取DML语句 解析 source 表中的复杂嵌套
timeout :导入作业的超时时间,默认为2小时,单位是秒。 tablet_num_per_task :每个子任务能分配扫描的最大 Tablet 数量。 WITH BROKER 导出功能需要通过 Broker 进程写数据到远端存储上。这里需要定义相关的连接信息供 Broker 使用。
输入端表的Scheme需与具体导入数据格式相匹配 若格式为CSV,格式及字段顺序需完全匹配 若格式为JSON,字段无需完全匹配 输出端表的Scheme需与具体作业逻辑输出数据相匹配 编写处理业务逻辑的SQL语句 样例中,从输入端表选取 stringtype 和 longtype 两字段,不做额外逻辑处理,仅重命名字段为 stringtype_out 和 longtype_out 储存于输出端表中。
从本地导入自定义镜像。具体步骤,请参见 导入自定义镜像 。 共享和复制自定义镜像 镜像属地域性资源,例如,您在北京地域创建自定义镜像后,只能在北京地域使用该镜像创建实例。 当您共享该镜像给其他百度智能云账号使用时,该账号也只能在北京地域使用该镜像。如果您需要在其他地域共享该镜像,可以先复制镜像到目标地域,然后再将其共享给目标百度智能云账号。更多详情,请参见 共享自定义镜像 。