3 将Oracle数据库作为DTS源的前置条件 3.1 环境要求 DTS支持将Oracle 10g、11g、12c(需使用PDB连接模式)、18c(需使用PDB连接模式)、19c(需使用PDB连接模式)版本自建数据库作为源。
自建Oracle迁移至RDS MySQL 本文主要介绍自建 Oracle 实例和云数据库 RDS MySQL 实例之间的数据迁移。 前提条件 自建 Oracle 数据库的版本为 10g、11g、12c、18c、19c,且不支持 CDB、RAC 架构。 目标 RDS MySQL 数据库的版本需要大于等于 5.6。 已创建目标端 RDS MySQL 实例。创建方式,请参见 创建 MySQL 实例 。
作业类型为 streaming ,source 使用 Oracle-CDC ,sink 使用 Iceberg-streaming 。示例为仅增量模式,从当前时间点开始消费 redo log。
注册及实名认证 使用使用超级链可信存证平台前,用户需要拥有一个百度智能云账号并完成实名认证具体操作如下: 注册并登录百度智能云平台,请参考 注册 和 登录 。 完成实名认证,操作细节请参考 实名认证 。 登录成功后,在 云管理控制台 导航栏中选择“产品服务 > 区块链 > 超级链可信存证”,即可开始使用超级链可信存证平台。
服务开通及使用 开始使用 登录 登录 可信存证控制台 ,选择“产品服务 > 区块链 > 超级链可信存证”,即可开始使用超级链可信存证平台。 申请准入账户 点击“ 申请准入 ”按钮,提交申请。 购买服务 开通自动扣费(后付费):需要先开通自动扣费才可以使用正式环境的服务。点击“ 开通 ”按钮,确认并开通自动扣费(后付费)。
每个命令的精确语法规则在PalopgSQL数据库参考手册中介绍。 标识符和关键字 上例中的 SELECT 、 UPDATE 或 VALUES 记号是关于 关键字 的示例,即SQL语言中具有特定意义的词。记号 MY_TABLE 和 A 则是 标识符 的示例。它们标识表、列或者其他数据库对象的名字,取决于使用它们的命令。因此它们有时也被简称为“名字”。
从其他 TP 系统迁移数据 从其他 TP 系统,如 MySQL/SqlServer/Oracle 等,迁移数据到 Doris,可以有多种方式。 Multi-Catalog 使用 Catalog 映射为外表,然后使用 INSERT INTO 或者 CREATE-TABLE-AS-SELECT 语句,完成数据导入。
创建集群 使用百度数据仓库(PALO)存算一体集群功能需要创建百度云账号,使用百度云账号登陆到主页。打开产品服务列表,找到智能大数据>百度数据仓库palo进入功能界面。 单击页面 创建集群 按钮,依次完成基础设置、节点配置、购买信息等各项配置的选择后,系统会呈现出对应的配置费用,此时,您只需点击 “立即购买” 按钮,即可完成集群的创建操作。
存算分离 PALO 存算分离集群将存储与计算资源解耦,支持独立扩展,通过对象存储(如百度对象存储BOS)持久化数据,高性能云磁盘(CDS)缓存热数据,实现高性价比弹性伸缩,提升资源利用率,降低存储成本,适合云原生环境及大规模数据分析场景。 本文档将展示如何通过控制台使用数据仓库palo,进行存算分离集群创建、管理等操作。 创建集群 登录数据仓库 PALO 控制台,选择侧边导航 存算分离 集群。
从其他 AP 系统迁移数据 从其他 AP 系统迁移数据到 Doris,可以有多种方式: Hive/Iceberg/Hudi等,可以使用Multi-Catalog来映射为外表,然后使用Insert Into,来将数据导入 也可以从原来 AP 系统中导出数据为 CSV 等数据格式,然后再将导出的数据导入到 Doris 可以使用 Spark / Flink 系统,利用 AP 系统的 Connector 来读取数据