离线处理对处理时间要求不高,但是所处理数据量较大,占用计算存储资源较多,通常通过MR或者Spark作业或者SQL作业实现。离线分析系统架构中以HDFS分布式存储软件为数据底座,计算引擎以基于MapReduce的Hive和基于Spark的SparkSQL为主。
2.连接数据源 连接数据源,是指让Sugar BI和我们的数据库(包括 MySQL、Oracle、SQL Server 等)之间建立连接,让Sugar BI能够使用和查询数据库中的数据。以 MySQL 数据库作为示例,假设我们已经有了一个 MySQL 数据库,并且数据库中已有要分析和展示的数据。 数据源的配置详情请见: 详细的连接方法 。
源端 全量迁移 检查用户指定字符集在目的数据库是否可用 目标端 全量迁移 检查迁移表的表结构在目的库是否存在 目标端 全量迁移/增量同步 检查目的库中表是否为空 目标端 全量迁移 检查源库的 binlog 是否是 RowBase 格式,且为全量映射 源端 增量同步 检查源数据库的 binlog 是否被删除 源端 增量同步 检查增量的拓扑是否和其他任务冲突 源端 增量同步 检查源数据库的版本号 源端
源端 全量迁移 检查用户指定字符集在目的数据库是否可用 目标端 全量迁移 检查迁移表的表结构在目的库是否存在 目标端 全量迁移/增量同步 检查目的库中表是否为空 目标端 全量迁移 检查源库的 binlog 是否是 RowBase 格式,且为全量映射 源端 增量同步 检查源数据库的 binlog 是否被删除 源端 增量同步 检查增量的拓扑是否和其他任务冲突 源端 增量同步 检查源数据库的版本号 源端
应用场景 不停服迁移上云 用户的系统上云,需要将位于本地数据中心或其他云厂商的数据库,或云服务器 BCC 自建数据库迁移至云数据库 RDS,使用迁移通道可以在不影响原数据库运行的情况下,完成结构及全量数据的迁移,后期使用增量数据并验证目标库数据,待数据完全追平即可将业务切换到 RDS。 异地多活 随着业务的快速扩张,用户可能需要在全国乃至全球范围内提供服务。
注意: 目前AT模式只支持mysql数据库 AT模式适用于相对简单的sql,若cancel场景比较复杂,建议使用MT模式
填写问卷:其他用户用浏览器打开数据填报链接,即可进行内容填写。 查看数据和分析数据:问卷分发出去以后,Sugar BI会在该空间下创建一个「内置数据填报数据源」,该数据源与其他数据源一样,可用于创建数据模型,在报表和大屏中进行数据可视化展现。 操作步骤 新建数据填报 从空间工作台进入「数据填报」的管理页面,点击「新建数据填报」,填写表单,打开「外置数据源」开关,即可将问卷结果同步至指定数据库。
站点启停 应用场景 当FTP文件被占用无法进行编辑或删除、网站配置变更不生效、网站运行缓慢或出现异常时,可通过重启站点来释放主机内存资源,重新加载web环境。 操作步骤 点击控制面板左侧导航“常用操作>站点启停”,进入站点启停页面。 选择操作: 如您想停止站点服务,请点击“停止站点服务”,停止服务后,网站将不可访问。关停操作需要一定执行时间,可能会影响线上的网站正常访问。 如您需要启用新的服务配置
FTP启停 应用场景 如暂时不需要通过FTP进行网站代码维护,可关闭该服务来释放更多的服务资源,同时提高安全性,防止用户恶意猜解FTP密码。 关停FTP服务需短信验证,系统会下发短信通知主机联系人,在弹框输入验证码后操作才可生效。 操作步骤 点击控制面板左侧导航“常用操作>FTP启停”,进入FTP启停页面。 选择操作 停止FTP服务 当前FTP状态显示为“运行中”,点击“停止FTP服务”,系统会发
关系模型(参考) 维度模型(参考) 模型物化 物化数据库:EDAPDataLake 物化数据库:demo_ecommerce_db 4.数据指标 包含原子指标、衍生指标、复合指标的设计,默认为已发布状态。 Demo导入 最佳实践DEMO导入者为项目管理员角色,如果其他用户想访问项目,需要项目管理员将其添加到项目中。