EDAP资源组FlinkSQL作业读取Kafka维表关联MySQL写入EDAPDatalake表 首先,在【元数据管理】界面创建如下图的EDAPDataLake表,用来作为待写入的flink作业sink端。 在FlinkSQL作业中写入如下SQL,实现读取Kafka维表关联MySQL写入EDAPDatalake表。需要保证Kafka、MySQL服务与资源组网络联通,例如均处于同一个VPC内。
使用RDS实例 ${rds_user} RDS数据库账号,具体请参考 创建账号 ${rds_db_name} RDS中数据库名,具体请参考 创建数据库 ${port} RDS中PostgreSQL服务的端口 ${db_name}.sql 用户备份生成的文件名 注意:由于账号针对每个数据库都有访问权限,因此用户需要提前在RDS中创建需要导入数据的数据库并赋予对应使用账号的读写权限才可以成功导入数据。
使用RDS实例 ${rds_user} RDS数据库账号,具体请参考 创建账号 ${rds_db_name} RDS中数据库名,具体请参考 创建数据库 ${port} RDS中PostgreSQL服务的端口 ${db_name}.sql 用户备份生成的文件名 注意:由于账号针对每个数据库都有访问权限,因此用户需要提前在RDS中创建需要导入数据的数据库并赋予对应使用账号的读写权限才可以成功导入数据。
撤回 :撤回 SQL 任务。更多信息,请参见 撤回 SQL 任务 。 转交 :更改该 SQL 任务的审批人。 审批通过后,任务状态会更改为 审批通过 ,单击页面右上角的 执行 ,执行批量数据库变更。
参数为:LATIN1,此参数为:en_US //characterSetNam参数为:SQL_ASCII,此参数为:C //可选 request.setCtype("zh_CN.utf-8"); //字符分类:PostgreSQL数据库必填参数,其他数据库非必填此参数 //characterSetName参数为:utf-8,此参数为:zh_CN.utf-8 //characterSetNam
方案概述 用户不停服务即可完成数据库的在线迁移,此功能支持SQL Server 2008 以上版本的数据库迁移,而离线数据迁移需要用户提供全量备份包之后,我们通过线下方式给用户恢复到RDS上面。 线下迁移 支持线下迁移,在迁移之前您需要:备份之前数据库的恢复模式改为完整模式。
创建数据库 创建数据库 创建SQLSEVER实例数据库 字符集设定 支持字符集 Chinese_PRC_CI_AS、Chinese_PRC_CS_AS、 SQL_Latin1_General_CP1_CI_AS、SQL_Latin1_General_CP1_CS_AS、 Chinese_PRC_BIN。
p dbpass -h rdsdns -Pdbport < data.sql 修改应用程序中数据库的连接地址,重新启动应用程序服务器或开启写入。
使用mysqldump工具,备份出所有的库表: mysqldump –u dbuser –p dbpass -h dbhost -Pdbport -A > data.sql 通过RDS域名来连接,使用mysql客户端工具将备份出来的数据库导入到RDS上: mysql -u dbuser -p dbpass -h rdsdns -Pdbport < data.sql 修改应用程序中数据库的连接地址
当前支持两种方式建表,详情如下: 1.1 通过“上传 SQL 文件”建表 1.2 通过“手动输入 DDL ”建表 说明: 目前仅支持create(建表),alter(修改表结构),drop(删除表)三种类型的DDL操作 一次执行只支持一类DDL,暂不支持混合操作。 上传的SQL文件会进行语法检查,也仅支持create(建表),alter(修改表结构),drop(删除表)三种操作。