2.连接数据源 连接数据源,是指让Sugar BI和我们的数据库(包括 MySQL、Oracle、SQL Server 等)之间建立连接,让Sugar BI能够使用和查询数据库中的数据。以 MySQL 数据库作为示例,假设我们已经有了一个 MySQL 数据库,并且数据库中已有要分析和展示的数据。 数据源的配置详情请见: 详细的连接方法 。
在目标库中创建要迁移的表,或者迁移对象增加结构迁移 检查迁移表是否有不支持的存储引擎 迁移的表中有不支持的存储引擎 去掉不支持迁移的表 检查源库和目标库中SQL_MODE是否合法 源库和目标库的sql_mode不合法 改成合法的sql_mode,详见支持的sql_mode 检查目的库中表是否为空 目的库中的表不为空 清空目标数据库的表的数据
若不填写则标识做全量+增量迁移 9654766427 响应头参数 除公共头域,无其它特殊头域。
支持的SQL操作 操作类型 SQL操作语句 DML INSERT、UPDATE、DELETE 数据库账号权限要求 数据库 结构迁移 全量迁移 增量迁移 源端 pg_catalog 的 usage 权限 迁移对象的 select 权限 superuser 目标端 迁移对象的 create、usage 权限 schema 的 owner 权限 schema 的 owner 权限 准备工作 PostgreSQL
但除开从锁粒度来划分锁之外,其实锁也可以从其他的维度来划分,因此也会造出很多关于锁的名词,下面先简单梳理一下 MySQL 的锁体系: 以锁粒度的维度划分 全局锁:锁定数据库中的所有表。加上全局锁之后,整个数据库只能允许读,不允许做任何写操作 表级锁:每次操作锁住整张表。
需求场景 所有机器的 API 调用日志通过 自定义日志采集程序 进行日志采集后推送到 百度消息服务 (BKAFKA)中作为流式计算 source , 在我们 BSC 中创建 FLINK_STREAM/SQL 类型的作业用于 API 日志的聚合统计,并实时将聚合结果写到 时序时空数据库 (TSDB)当中,用户可以通过 TSDB 的可视化面板或者利用 数据可视化工具 (如 Sugar BI)等调用 TSDB
JAR FLINK_BATCH:SQL FLINK_BATCH:JAR SPARK_STREAM:SQL SPARK_STREAM:JAR SPARK_BATCH:SQL SPARK_BATCH:JAR 云数据库TableStorage BCE_BTS 实例监控(Instance) 表格监控(Table) 虚拟专用网络 VPN网关 BCE_VPN IPsec VPN网关(Instance) SSL
数据的查询 PALO 支持绝大部分 SQL 92 和 99 标准中的 SQL 语法,以及部分 SQL 2003 标准中的语法。基本可以涵盖绝大部分 SQL 使用场景。以下通过一些简单的示例进行展示。
源端 全量迁移 检查用户指定字符集在目的数据库是否可用 目标端 全量迁移 检查迁移表的表结构在目的库是否存在 目标端 全量迁移/增量同步 检查目的库中表是否为空 目标端 全量迁移 检查源库的 binlog 是否是 RowBase 格式,且为全量映射 源端 增量同步 检查源数据库的 binlog 是否被删除 源端 增量同步 检查增量的拓扑是否和其他任务冲突 源端 增量同步 检查源数据库的版本号 源端
源端 全量迁移 检查用户指定字符集在目的数据库是否可用 目标端 全量迁移 检查迁移表的表结构在目的库是否存在 目标端 全量迁移/增量同步 检查目的库中表是否为空 目标端 全量迁移 检查源库的 binlog 是否是 RowBase 格式,且为全量映射 源端 增量同步 检查源数据库的 binlog 是否被删除 源端 增量同步 检查增量的拓扑是否和其他任务冲突 源端 增量同步 检查源数据库的版本号 源端