方案概述 ### 使用限制 不支持结构迁移 增量同步不支持同步关系型数据库的DDL语句 源端数据源为MySQL时,源端表中的enum/set/timestamp类型字段只能将二进制信息传给下游,用户需要自行按照上游MySQL表结构解析其释义 不支持同步源端数据源的二进制(binary)类型数据 迁移前置条件 环境要求 已创建作为迁移源端的数据源实例,如:RDS for MySQL、自建MySQL
升级 MetaStore 到新集群的版本(选做) 如果新集群的 Hive 版本比老集群的 Hive 版本新,执行此步骤。如果一致,则跳过此步骤。新集群的 Hive 版本不得小于老集群的 Hive 版本。 在新集群 metastore 所在服务器,使用 hive 用户下执行以下操作, ${NEW_MYSQL_HOST}是新 mysql 数据库所在的服务器 IP 地址。
本机安装的版本是: mysql-5.1.61-4.el6.x86_64 安装完成之后,可用 service mysqld status 查看运行状态,并使用 Plain Text 复制 1 /usr/bin/mysqladmin -u root -h ${IP} password ${new-password} #设置新密码 可以在mysql中创建hive专用的用户,并设置密码。
MySQL 推荐使用 MySQL 5.7 版本(如果用 MySQL 8 需要 --default-authentication-plugin=mysql_native_password ),该 MySQL 数据库用来存储Sugar BI的系统数据,MySQL 需要您自己安装和运维,并且需要给Sugar BI创建一个空的数据库如 sugarbi (排序规则使用 utf8_general_ci );当然
MySQL 5.5、5.6和5.7版本需要下载 xtrabackup 2.4版本,MySQL 8.0及以上版本,需要下载对应的xtrabackup 8.0版本。
以获得高可用性,还想让成本控制在比较低的程度,同时还不希望由业务实现多份数据的同步与维护,这样就对数据库这类基础设施的多地多活能力提出了很高的要求,GaiaDB的高对称架构天然适合多地多活方式部署,所有存储副本逻辑上完全对称,每个副本都具备动态回放任意版本数据能力,这样就为数据就近访问打下了坚实的基础
源端数据源为MySQL时,源端表中的enum/set/timestamp类型字段只能将二进制信息传给下游,用户需要自行按照上游MySQL表结构解析其释义 。 不支持同步源端数据源的二进制(binary)类型数据 。 迁移前置条件 环境要求 已创建作为迁移源端的数据源实例,如:RDS for MySQL、自建MySQL、自建Oracle等。
每次执行 DELETE 都会生成一个空的 rowset 来记录删除条件,并产生一个新的数据版本。频繁删除或删除条件过多时,会严重影响查询性能。 删除标记的工作原理 原理说明 表结构 :删除标记在主键表上存储为一个隐藏列 __DORIS_DELETE_SIGN__ ,该列值为 1 时表示删除标记生效。
如果两批数据导入都更新了一个相同 key 的不同列,则其中系统版本较高的导入任务会在版本较低的导入任务成功后,使用版本较低的导入任务写入的相同 key 的数据行重新进行补齐。
如果两批数据导入都更新了一个相同 key 的不同列,则其中系统版本较高的导入任务会在版本较低的导入任务成功后,使用版本较低的导入任务写入的相同 key 的数据行重新进行补齐。