数据同步 为了方便数据发布生成数据API,需要将数据湖中的数据进行导出,本示例通过可视化ETL作业,将数据从EDAP数据湖同步到RDS。 数据湖数据导出到RDS 1、进入项目“产品体验测试”,选择可视化作业,在画布中添加源端插件DataLakeSource、目标端插件DataBase。 2、点击插件进行属性配置,源端数据表为test_stu,目标端数据表为mysql_stu。
应用场景 场景一:帮助用户快速找到想要的数据,并且了解数据表的详情和上下游血缘关系。 场景二:帮助开发人员高效地定位问题,在问题排查时能评估故障影响范围。 归因分析(上游):采用向上追溯的方式查找数据来源于哪里,经过了哪些加工和处理。常用于在发现数据问题时,追溯上游表、字段,快速定位和找到数据问题的原因。 影响分析(下游):影响分析是向下游追踪,用来查询和定位数据去了哪里。
2.2 联系 大数据和AI之间的联系可以从以下几个方面进行分析: 数据驱动:大数据为AI提供了丰富的数据源,有助于提高AI系统的准确性和效率。 算法与技术:大数据为AI提供了新的算法和技术,如机器学习、深度学习等。 应用场景:大数据和AI在许多领域具有广泛的应用,如医疗、金融、物流等。
动态的维度和度量分析 动态的维度和度量分析 Sugar BI中支持在一个图表组件中绑定多个动态的维度和度量,在展示数据时,可以根据需要切换不同的维度/度量,来查看不同的数据组合情况。 该功能仅在报表中支持,大屏和下钻图表中不支持。 您可以在「饼状图,交叉透视表,普通表格,柱状图,折线图」中使用该功能,来实现浏览状态下图表的动态维度和度量切换,更加灵活地按需切换字段进行数据分析和展示。
浏览模式 在报表和大屏的浏览模式下也可以开启自动分析,在图表控制面板中的「分析」Tab 下开启: 浏览状态下的自动分析中的数据,会被原报表/大屏页面中的 URL 参数、过滤条件、图表筛选器影响。 自动分析的连接模式 在私有部署中,自动分析中分析数据的过程默认为 HTTP 方式,但是在分析大量数据时可能会因为耗时很长而超时。
对于有规律的日志业务场景,用户只需要在特定的时间段内用集群进行分析即可,其余时间无需使用集群。传统的大数据集群一旦构建则无法释放或者需要人工手动释放,使用成本较高。解决这一场景下的日志分析十分必要。 方案概述 通过定时任务您可定时启动集群运行作业,适用于对已有数据有规律的定时分析并获取结果。优势如下: 省时:任务只需一次创建,一键启停。 省钱:集群随任务的启停而启停。
全国和各省份的销售下钻分析 Sugar BI中的两个页面之间可以使用下钻来进行跳转,并且在 A 页面进行下钻的时候可以附带上一些下钻的参数,跳转到 B 页面后,B 页面中的内容(如图表的数据、地图的区域)可以根据 A 页面带过来的下钻参数进行动态的切换,一个经典的分析场景如全国的销售概览和各省份销售数据之间的下钻联动分析,您可以点击下面的链接来体验这个示例: https://sugar.aipage.com
波动分析的连接模式 在私有部署中,波动分析中分析数据的过程默认为 HTTP 方式,但是在分析大量数据时可能会因为耗时很长而超时。可在部署时通过配置环境变量的方式对分析过程的连接方式进行配置,支持 HTTP、HTTP 轮询 和 WebSocket 模式,以支持大数据量的波动分析。配置方式请参考 私有部署文档 。
当您新建数据填报(不开启 使用外置数据源 时,请参考数据填报管理的「新建数据填报」)之后,会默认的在该空间下创建一个内置数据填报数据源,该数据源与其他数据源一样,可以用于创建数据模型从而在报表和大屏中进行数据可视化。
在新增数据源弹框中,选择大数据存储类型中的Hbase。 在新增Hbase数据源弹框中,配置各项参数。 参数 描述 数据源名称 数据源名称必须以字母、数字、下划线组合,且不能以数字和下划线开头。 数据源描述 对数据源进行简单描述,不得超过80个字符。 catalog名称 数据源用户数据湖分析时的唯一标识符,以字母、数字、下划线组合,且不能以数字和下划线开头。