规范设计 EasyDAP引入事前治理过程,通过制定数据标准,设计数据模型并引用标准,对数据表的开发进行规范,从而避免后期产生数据质量问题。本示例以创建邮箱、评分标准为例,进行产品流程贯通。 制定数据标准 1、点击“数据标准-标准管理”菜单,创建一个目录,并且新建数据标准。 邮箱数据标准:注意邮箱不允许为空。 评分数据标准:注意值域范围在0-100之间。
数据开发 脚本作业开发:脚本作业类型为HiveSQL,内容为DWR、DWD、DWS、ADS层数据ETL逻辑 作业组开发:需包含数据同步任务、数据开发任务、质量探查任务 作业运维 配置天级别调度,每天0点0分开始执行;导入时先手动执行一次,生成当天任务实例。 Demo暂不支持数据分析和数据服务。
查看数据和数据分析 查看数据 当数据填报发布成功之后,就可以查看收集的数据了。在数据填报的管理页面,点击对应填报的「查看数据」,即可进入数据页面: 在数据页面中,可以查看到该数据填报所收集到的数据,支持对数据的增删改查。以及数据的导入和导出。 分析数据 数据收集完成后,如何对数据进行分析呢?Sugar BI 作为 敏捷 BI 和数据可视化平台当然可以做到无缝衔接。
EDAP非结构化数据入湖:使用pyspark提取pdf元信息下载并写入BOS存储 场景功能 基于非结构化文件在数据湖表中存储的元信息,使用PySpark任务批量拉取文件服务器中的pdf入湖。
功能模块介绍及最佳实践 数据建模介绍及最佳实践 本视频介绍EasyDAP数据建模模块的作用和定位,详细介绍建模模块的功能使用,并通过最佳实践示例的讲解,帮助用户快速上手,玩转大数据治理开发。 数据集成介绍及最佳实践 本视频介绍EasyDAP数据集成模块的作用和定位,详细介绍集成模块的功能使用,并通过最佳实践示例的讲解,帮助用户快速上手,玩转大数据治理开发。
本条分析结果的大图链接 + cropThumbnailUrl String 本条分析结果的小图链接 + aiAnalysisData Object 本条分析结果详细数据 示例 请求示例 GET /v1/device/1018339/aiAnalysisByMarker?
企业大数据应用,普遍有数据治理管理难、开发效率低、分析应用技术门槛高的困难: 百度数据湖管理与分析平台EasyDAP,围绕以数据为核心, 封装数据从汇聚、开发、管理到服务的一整套完整的产品设计体系,屏蔽了大数据相关技术并提供简易的可视化开发操作界面,降低使用门槛 ;无缝对接主流大数据存储计算平台,兼容企业原有IT系统、技术栈,并与百度云产品生态打通,降低数据中台建设成本。
以下是多用户访问控制适用的典型场景: 中大型企业客户:对公司内多个部门的不同员工进行集中资源和权限管理; 独立软件服务商(ISV)或SaaS平台商:对代理客户进行集中的资源和权限管理; 中小开发者或小企业:添加项目成员或协作者,进行资源和权限管理。 二、EDAP权限策略说明 EDAP支持系统策略和用户自定义策略两种。
动态的维度和度量分析 动态的维度和度量分析 Sugar BI中支持在一个图表组件中绑定多个动态的维度和度量,在展示数据时,可以根据需要切换不同的维度/度量,来查看不同的数据组合情况。 该功能仅在报表中支持,大屏和下钻图表中不支持。 您可以在「饼状图,交叉透视表,普通表格,柱状图,折线图」中使用该功能,来实现浏览状态下图表的动态维度和度量切换,更加灵活地按需切换字段进行数据分析和展示。