AS tvc) 该改写将 IN 列表转换为一个由表值构造器组成的非关联子查询,从而绕过 range optimizer 的内存限制,转而采用 semi-join 物化策略执行( 由于临时表的数据量一般远小于外部表,因此会走 materialization-scan 模式 ),其流程如下: 构造并物化临时表 :将 IN 列表中的值构建为临时表; 索引关联查询 : 从临时表中取一行数据, 使用外表索引进行匹配
注:外部表中的数据也可以通过 SELECT 直接查询,但效率较低,推荐导入到 PALO 中后在执行查询。 导入数据 使用以下命令从外部表导入数据到内部表。 SQL 复制 1 INSERT INTO load_test SELECT * FROM example_ext_table; 该命令为同步命令(异步提交 INSERT 作业的操作正在开发中),命令返回成功即表示数据导入完成。
源端数据源为MySQL时,源端表中的enum/set/timestamp类型字段只能将二进制信息传给下游,用户需要自行按照上游MySQL表结构解析其释义 。 不支持同步源端数据源的二进制(binary)类型数据 。 迁移前置条件 环境要求 已创建作为迁移源端的数据源实例,如:RDS for MySQL、自建MySQL、自建Oracle等。
迁移表的表结构在目的库是否存在检查 问题描述 为保障数据传输任务的顺利运行,DTS任务会在预检查阶段检查迁移表的表结构在目的库是否存在。 问题原因 目标库中不存在待迁移的表结构时预检查会失败。 问题的处理方法 方法1:重新配置DTS任务 登录 数据传输DTS控制台 , 点击 配置任务 按钮,迁移对象增加结构迁移。 方法2:目标库创建待迁移表 登录目标库,在目标库中创建要迁移的表。
AS tvc) 该改写将 IN 列表转换为一个由表值构造器组成的非关联子查询,从而绕过 range optimizer 的内存限制,转而采用 semi-join 物化策略执行(由于临时表的数据量一般远小于外部表,因此会走 materialization-scan 模式),其流程如下: 构造并物化临时表:将 IN 列表中的值构建为临时表; 索引关联查询:从临时表中取一行数据,使用外表索引进行匹配; 高效匹配输出
之后可以通过如下命令将数据写入外部表: SQL 复制 1 INSERT INTO extern_tbl VALUES(1, 2, 3); 2 3 INSERT INTO extern_tbl SELECT * FROM other_tbl; 写入操作是单 ODBC Client 连接方式写入,因此不建议一次性提交大量数据写入。 同时,PALO 支持对 ODBC 外部表的写入事务支持。
此外,为了避免大批量写入数据给下游的Elasticsearch实例造成过高的负载,我们推荐将集群粒度属性 refresh_interval 配置为相对合理的值。如果您能接受新写入的数据在写入后1分钟可见,则可以考虑将refresh_interval取值设为1m。
迁移表依赖的外键父表是否迁移检查 问题描述 为保障数据传输任务的顺利运行,DTS任务会在预检查阶段检查迁移表依赖的外键父表是否迁移。 问题原因 迁移的表的外键依赖的表没有迁移时预检查会失败。 问题的处理方法 登录 数据传输DTS控制台 , 点击 配置任务 按钮,选择库表信息时,将依赖的表一起迁移。
您的角色为 系统管理员 。更多关于角色的信息,请参见 角色 。 数据源类型为 MySQL。 注意事项 OnlineDDL 的新旧表业务切换可能会导致业务秒级闪断,请尽量在业务低峰期执行表结构变更 SQL 任务。
勾选需要进行批量转换存储类型的文件/文件夹,点击上方【批量操作】中【转换存储类型】 在弹窗中选择需要转换的 目标存储类型 后,点击 确认 即可创建批量存储类型转换任务。 可在右上角的任务状态中查看批量转换任务进度。