前提条件 源端DynamoDB准备工作: 授权以编程方式访问DynamoDB:您可以参考 此文档 目标端百度云MongoDB准备工作: 已经创建百度云MongoDB实例,详情请参见创建副本集实例或创建分片集群实例。 背景信息 本文档主要介绍NimoShake工具及其使用方法。NimoShake主要用于从DynamoDB进行迁移,目的端支持MongoDB。更多详情请参见NimoShake介绍。
如果源或目标数据库是百度智能云数据库(RDS、GaiaDB、GaiaDB-X)实例,DTS 会自动将对应地区 DTS 服务的 IP 地址添加到百度智能云数据库实例的白名单中;如果源或目标数据库是 BCC/BBC/DCC 自建或 IDC 自建数据库或其他云数据库,则需要您手动添加对应地区 DTS 服务的 IP 地址,以允许来自 DTS 服务器的访问。
创建一个DTS任务 DTS拆分任务1 ,配置源库及目标库信息,进入下一步。 在任务配置页的迁移类型中勾选全量迁移和增量同步(Table1_1 表结构已提前建好,无需结构迁移)。由于在线数据拆分的源端和目标端数据库经常为线上业务使用的数据库,为了不在全量迁移时对数据库造成过大压力,推荐您开启 限制传输速度 的选项并对全量迁移阶段设置合理的限速。 配置 任务1 的对象映射规则。
代理键 表示维度的唯一键,作用是连接维度表和事实表,为避免数据库结构发生变化带来影响。 允许空 是否允许为空。 密级 字段保密程度等级,支持L0-L4。 描述 字段描述,长度不能超过64个字符。 创建事实表 1.单击导航栏中的 数据架构>模型>维度建模>事实表 。 2.选择对应的主题域以及主题。 3.单击左上角的“ 新建表 ”按钮创建事实表。
请保持集群的其他默认配置不变,点击“完成”可在集群列表页可查看已创建的集群,当集群状态由“初始化中”变为“运行中”时,集群创建成功。 说明:Hbase集群支持在创建集群时将HBase存储设置设置为BOS,可以获得更高的数据可靠性。
为用户访问公网提供IP地址和公网带宽 云数据库RDS 专业的关系型云数据库服务,提供Web 界面管理、数据备份和恢复功能、安全管理和监控等服务
return new DataSourceProxy(dataSource); } } 创建数据库表 在数据库中创建undo_log、btcc_global_lock表,建表所需的sql语句请参考 事务依赖包 。
tables; // 6.创建表 create table test(id bigint, name varchar); // 7.插入数据 insert into test values(1,'aa'),(2,'bb'); // 8.查询数据 select * from test; 元数据管理为EDAP时 // 1.登录到coordinator节点 // 2.切换到某个用户
需要注意的是: 备份数据会按备份表的原名称恢复到当前集群的当前数据库 数据恢复过程中如果存在与已经备份表名称相同的表,恢复任务会失败,如存在同名表,建议修改或删除同名表 数据恢复后,将沿用备份表的配置,包括表副本数,动态分区开启状态等 如果开启动态分区,可能导致历史分区被删除。若不沿用备份表配置,默认恢复为表1副本
质量作业 创建质量作业 登录并进入百度智能云数据湖管理与分析EasyDAP。在左侧导航栏,单击 数据治理>数据质量>质量作业 ,进入质量作业界面。 从左侧各数据源类型中选择一个,并且选中一个数据库。单击 新建质量作业 进入创建质量作业页面。 选择一个表,输入作业名称,规则配置添加对应质量规则配置,单击 确认 按钮完成创建。