检查安装过程中的配置参数,尤其是数据库配置,是否填写错误,关于数据库配置,请 查看主机详情 。 如果该框架的安装时间需要30秒以上,需要按如下步骤设置下最大运行时间: 在网站根目录下,创建php.ini文件; 在php.ini文件中填写 max_execution_time = 180; 在控制面板中,重载站点。
数据库多副本—主从架构 RDS for MySQL目前为用户提供一主一备的双机高可用版。主从架构的目的是——主库发生故障或灾难时,RDS自动第一时间将备库提升为主库,并将业务流量切换到新主库,同时建立新的备库,保障业务的畅通。 数据备份 数据备份可以帮助您在发现误操作后,尽快将数据库恢复到误操作之前的指定时刻,从而最大化地避免损失。
检查项 数据库类型 检查范围 检查数据传输服务器是否能连通源数据库 源端 全部迁移 检查源数据库的账号权限是否满足迁移要求 源端 全部迁移 检查源库的连接数是否满足要求 源端 全部迁移 检查源数据库/表名字是否包含特殊符号 源端 全部迁移 检查任务配置是否会超过 ZK 节点大小的限制 源端/目标端 全部迁移 检查数据传输服务器是否能连通目的数据库 目标端 全部迁移 检查目的数据库待迁入的数据库是否可用
检查项 数据库类型 检查范围 检查数据传输服务器是否能连通源数据库 源端 全部迁移 检查源数据库的账号权限是否满足迁移要求 源端 全部迁移 检查源库的连接数是否满足要求 源端 全部迁移 检查源数据库/表名字是否包含特殊符号 源端 全部迁移 检查任务配置是否会超过 ZK 节点大小的限制 源端/目标端 全部迁移 检查数据传输服务器是否能连通目的数据库 目标端 全部迁移 检查目的数据库待迁入的数据库是否可用
脚本作业 脚本作业类型 数据源类型 血缘获取方式 HIVE SQL hive、edapdatalake 系统解析 JDBC SQL mysql、sqlserver、clickhouse、oracle、doris、hana 系统解析 Spark SQL hive、edapdatalake 系统解析 PySpark 手动配置 Scala 手动配置 Shell 手动配置 Python 手动配置 SQL类脚本作业支持字段级血缘系统解析
切到从库,其中人脸服务,鉴权服务还是用主库服务器,需要修改主库配置文件 修改主库人脸服务数据库配置文件的IP地址,改成从库的IP地址 Plain Text 复制 1 vim /home/baidu/work/face-server/project-conf/sconf/service.conf 2 #databus 3 MYSQL_SVC_SERVICE_HOST=xxx.xxx.xxx.xxx
二、支持的数据源 Apache Hive Apache Spark SQL Apache Impala 三、数据连接前的准备工作 下载环境上的配置文件 krb5.conf、XXX.keytab XXX.keytab 为密钥表文件,需要在提供 Kerberos 服务的应用服务器上找到该文件的对应位置。在不同服务器上 keytab 的文件名称可能不一样,这里用 XXX 代替。
表一 BLB关键配置项说明 配置项 配置项说明 实例类型 应用型BLB,仅应用型BLB支持按IP添加后端服务器 后端服务器IP ClickHouse集群Core节点的内网IP,可添加多个 后端服务器端口 ClickHouse服务端口,以集群实际配置为准 监听端口 客户端访问BLB使用的端口 健康检查 建议开启,检查端口与后端服务器端口保持一致,用于探测Core节点是否可正常提供服务 配置完成后,在BLB
Hive SQL 是Hive(基于Hadoop构建的数据仓库分析系统)提供的SQL查询方式,用来分析存储在Hadoop分布式文件系统中的数据,并将结构化的数据映射为一张数据库表,提供完整的SQL查询功能。另外可以把SQL语句转换为MapReduce任务进行,使用自身的SQL语句查询所要分析的内容。Hive SQL有利于不熟悉的Hadoop的用户对数据进行查询、分析和汇总。
纵向扩展(Scale-Up)方案:升级RDS实例的套餐规格,通过增加CPU和内存的配置,提升数据库性能 横向扩展(Scale-Out)方案:借助MySQL主从同步特性,通过增加RDS只读实例,构建一主多从的数据库架构,进而提升RDS的性能和容量。