源端 全量迁移/增量同步 检查用户指定字符集在源数据库是否可用 源端 全量迁移 检查用户指定字符集在目的数据库是否可用 目标端 全量迁移 检查迁移表的表结构在目的库是否存在 目标端 全量迁移/增量同步 检查目的库中表是否为空 目标端 全量迁移 检查源库的 binlog 是否是 RowBase 格式,且为全量映射 源端 增量同步 检查源数据库的 binlog 是否被删除 源端 增量同步 检查增量的拓扑是否和其他任务冲突
这样,在大规模数据导入过程中,单个批次的数据仅写入一个数据分片,能够提高数据导入的并发度和吞吐量,减少因数据导入和压缩(Compaction)操作造成的写放大问题,从而确保集群稳定性。
Compute Node HTTP 协议连接目标 可以通过此目标进行本地文件导入。 JDBC/ODBC URL 分别为 MySQL JDBC/ODBC 的连接串示例。在使用前,请确保将DB_NAME、USER_NAME和PASSWORD替换为您的实际数据库名、用户名和密码。 图一 集群信息界面
如果启用,则对整个表的内容计算时的校验和 Create_options 字符串 指表创建时的其他所有选项 Comment 字符串 表注释 权限控制 执行此 SQL 命令的用户必须至少具有以下权限: 权限(Privilege) 对象(Object) 说明(Notes) ADMIN_PRIV 表(Table), 视图(View) 目前仅支持 ADMIN 权限执行此操作 注意事项 该语句主要用于兼容 MySQL
目标端可以是另一个kafka消息队列,也可以是Hive等数据库。 可视化作业配置 可视化作业配置位于整个页面右侧,单击不同的配置可查看具体配置详情。 表二 可视化作业配置项说明 可视化作业配置名称 配置说明 基本信息 单击右侧配置信息-基本信息,可展开查看可视化作业的基本信息,包括作业名称、责任人、作业类型和描述。支持对描述进行修改 参数设置 单击参数设置,填写弹窗内参数内配置项。
您可以使用该功能管理元数据库和元数据表。 元数据列表 支持查看用户有权限的元数据列表,对元数据进行主题、库、表级别的管理,支持库的新增和删除、表的新增和删除、及库表的权限管理。 对于系统管理员和数据管理员角色,该列表展示同步至平台的所有表,并且可以进行新建、编辑等管理操作。 对于其他角色,该列表仅展示用户有权限的表。
您可以使用该功能管理元数据库和元数据表。 元数据列表 支持查看用户有权限的元数据列表,对元数据进行主题、库、表级别的管理,支持库的新增和删除、表的新增和删除、及库表的权限管理。 对于系统管理员和数据管理员角色,该列表展示同步至平台的所有表,并且可以进行新建、编辑等管理操作。 对于其他角色,该列表仅展示用户有权限的表。
权限控制 执行此 SQL 命令的用户必须至少具有以下权限: 权限(Privilege) 对象(Object) 说明(Notes) LOAD_PRIV 表(Table) SHOW ROUTINE LOAD 需要对表有LOAD权限 注意事项 作业被暂停后,可以通过 RESUME 命令重新启动 暂停操作不会影响已经下发到 BE 的任务,这些任务会继续执行完成 示例 暂停名称为 test1 的例行导入作业。
RowsBloomFilterFiltered BloomFilter 索引过滤掉的行数,可以与其他几个 Rows 值对比分析索引过滤效果 BlockConditionsFilteredBloomFilterTime BloomFilter 倒排索引消耗的时间 使用示例 以亚马逊产品的用户评论信息的数据集 amazon_reviews 为例展示 NGram BloomFilter 索引的使用和效果。
Bitmap BITMAP 类型可以在 Duplicate 表、Unique 表、Aggregate 表中使用,只能作为 Key 类,无法作为 Value 列使用。在 Aggregate 表中使用 BITMAP 类型,其建表时必须使用聚合类型 BITMAP_UNION。用户不需要指定长度和默认值。长度根据数据的聚合程度系统内控制。更多文档参考Bitmap。