数据开发 新建项目 进入“数据加工-我的项目”菜单,创建项目“产品体验测试”,并为项目绑定计算资源。 数据开发 进入项目“产品体验测试”,创建一个脚本作业,脚本类型HiveSQL、SparkSQL均可。将1.1中的示例数据写入表test_stu,并点击执行。 作业运维 执行通过的作业,点击“发布”后将进入运维阶段,在“任务运维”中,可以对该作业进行调度配置、查询运行实例等。
your_ak , bos_secret_accesskey = your_sk , bos_endpoint = http://bj.bcebos.com ); 使用主流的BI/可视化工具进行数据分析与展现。
功能发布记录 发布时间 功能描述 2021-11-02 支持上传下载进度回调接口:主机创建成功后,系统会分配一套默认的运行环境、参数和配置,您可以直接使用系统默认的环境配置进行网站调测,无需手动配置。
元数据权限 元数据权限管理是数据治理的一个重要组成部分,对数据元数据(即描述数据的数据)的访问和操作权限的控制,防止未授权访问。实施有效的元数据权限管理,组织可以更好地控制数据资产,提高数据治理的效率和效果。 库表授权 支持管理员为用户或用户组授予库表权限。
元数据发现 当数据存储在BOS中,而在EDAP还未与对应的元数据关联时,可以通过元数据发现,来构造这些数据对应的元数据信息,从而支撑用户的查询与分析,将半结构化数据转化为结构化数据。 任务管理 创建元数据发现任务 进入百度数据湖管理与分析平台EasyDAP控制台,单击页面中数据湖模块进入湖概览界面,或者单击侧边导航数据湖>元数据>任务管理(侧边导航)。
应用场景 场景一:帮助用户快速找到想要的数据,并且了解数据表的详情和上下游血缘关系。 场景二:帮助开发人员高效地定位问题,在问题排查时能评估故障影响范围。 归因分析(上游):采用向上追溯的方式查找数据来源于哪里,经过了哪些加工和处理。常用于在发现数据问题时,追溯上游表、字段,快速定位和找到数据问题的原因。 影响分析(下游):影响分析是向下游追踪,用来查询和定位数据去了哪里。
如一个 MySQL 数据源和一个 Excel 数据源之间的数据交叉分析。
date String 数据返回时间,精确到小时,格式为YYYYMMDDHH,如2020042216代表的是2020年4月22日16时。 data String 网格坐标和实时热力。每组数据之间用“|”分隔。单组数据以“13497207_3609616_1”为例,用“_”分隔后返回三个小数据,其中第一个数据13497207为x坐标,第二个数据3609616为y坐标,第三个数据1为定位人数。
重点区域客流画像接口 接口描述 本接口能够查询选定重点区域(比如北京北站)的实际客流画像数据,客流量根据某一天的全量客流打点数据进行计算。 数据更新频率:每天更新,由于上游数据产出的原因故前一天的数据一般在第二天早上就绪。 权限说明 所有API的安全认证一律采用API Key(AK)和区域ID(Block ID)。
数据更新频率:每5分钟更新,由于数据处理需要一定的时间,故在极少情况下会出现延迟,延迟时间一般不超过20分钟。 权限说明 所有API的安全认证一律采用API Key(AK)和区域ID(Block ID)。 当百度智能云接收到用户的请求后,系统将使用相同的AK和Block ID生成认证字符串,并与用户请求中包含的认证字符串进行比对。