支持以下形式: job_name : 显示当前数据库下指定名称的作业 db_name.job_name : 显示指定数据库下指定名称的作业 返回结果 字段名 说明 Id 作业ID Name 作业名称 CreateTime 作业创建时间 PauseTime 最近一次作业暂停时间 EndTime 作业结束时间 DbName 对应数据库名称 TableName 对应表名称(多表情况下显示 multi-table
限制说明 待同步的表需具备主键或唯一约束,且字段具有唯一性,否则可能会导致目标数据库中出现重复数据。 增量同步使用物化视图日志(mlog)方案时:若需要同时选择全量和增量迁移,源端不可存在迁移表相关的物化视图日志;若只选择增量迁移,需要提前在源端创建迁移表相关的物化视图日志。
假设数据库中有两张表: 订单表(orders),包含 1 亿行数据,记录订单号 (o_orderkey)、客户编号 (o_custkey) 以及订单的其它信息。 客户表(customer),包含 10 万行数据,记录客户编号 (c_custkey)、客户国籍 (c_nation) 以及客户的其它信息。该表共记录了 25 个国家的客户,每个国家约有 4 千客户。
使用RDS数据库中的另一张表test_export,指定hive中已经存在的表sqoop_hive。
进行测试 查询老集群的表,看数据是否正确。
迁移示例 老集群 hdfs 地址为:hdfs://master-9331fa9:8020,hive 版本为 hive 1.2.0,mysql 元数据库地址为 master-9331fa9 新集群 hdfs 地址为:hdfs://master-b882990:8020,hive 版本为 hive 3.1.0,mysql 元数据库地址为 master-b882990(IP:172.18.0.148) 在老集群创建相应的库和表
可以包含数据库名称。 表名在其所在的数据库中必须唯一。 可选参数 1. PARTITION (<partition_name> [, ...]) 指定要查看的分区名称列表。 如果不指定此参数,则展示表中所有分区的数据分布情况。 对于非分区表,分区名称同表名。
操作步骤 连接数据源 连接数据源,是指让Sugar BI和我们的数据库(包括 MySQL、Oracle、SQL Server 等)之间建立连接,让Sugar BI能够使用和查询数据库中的数据。以 MySQL 数据库作为示例,假设我们已经有了一个 MySQL 数据库,并且数据库中已有要分析和展示的数据。 数据源的配置详情请见: 详细的连接方法 。
ACID属性(原子性、一致性、隔离性和持久性) 表格存储 TableStorage 区别于传统的关系型数据库,仅遵循了部分ACID属性,产品灵活度更高,性能、可扩展性、管理能力更强,适用于海量无限增长的数据存储场景。
DTS支持上下游库表名映射、列过滤黑白名单等功能。可以点击【编辑】,对每一个迁移对象配置映射和过滤规则。 完成对象映射配置后,点击【保存并预检查】,启动任务的前置检查。 5. DTS支持的SQL Server目标端数据类型 下表列出了使用DTS时支持的DTS数据类型与SQL Server目标端数据类型的默认映射。 有关如何查看源端映射的数据类型的信息,请参阅有关源端数据源的数据类型映射部分。