文件管理
概述
EDAP提供文件管理功能,用户在数据开发场景中依赖很多脚本、Jar包等文件,可将其上传、更新、删除、文件夹分类等管理,同时离线开发、实时开发中可通过节点配置引用此文件,方便用户对文件的管理使用。
功能介绍
文件管理
在后续数据开发过程中需要使用到第三方的 jar 或者用户自定义脚本、文件的情况,可以通过文件管理页面完成文件上传、管理等相关操作。
提供文件上传、管理等功能:
新建文件夹
新建文件夹,用于对文件分类管理。
上传文件
点击“上传文件”进行文件上传,支持单个/多个(最多10个)文件上传。
文件上传相关限制:
- 支持多个文件上传,最多十个文件;
- 支持单文件最大20M;
- 同文件夹下同名文件直接覆盖。
下载文件
文件列表支持对已上传的文件进行下载操作,文件夹不支持下载。
- 支持单个/多个文件下载;
- 判断是否勾选文件夹,勾选文件后“下载”按钮无法点击。
删除文件
支持对已上传的文件进行删除操作:
- 支持单个/多个文件删除;
- 文件所有操作调用HDFS侧接口;
- 判断要删除的文件夹下是否有文件,不允许删除非空文件夹。
文件管理列表
文件管理列表展示目前已上传的所有文件详情:
表单项说明:
表单项 | 说明 |
---|---|
文件名 | 上传的文件名称 |
大小 | 显示文件大小,文件夹不显示大小 |
创建人 | 文件上传人 |
更新时间 | 文件上传创建时间,文件夹不显示时间 |
文件路径 | 上传文件所在全路径 |
操作 | 删除:对文件进行删除操作,下载:对文件进行下载操作,不支持文件夹下载 |
函数管理
函数管理模块支持函数注册、管理。
函数列表
- 支持通过「创建人」进行列表信息过滤检索,支持模糊搜索
- 支持通过函数名称进行列表信息过滤检索,支持模糊搜索,支持刷新
- 点击创建函数即可创建一个新的函数
列表项说明:
序号 | 字段 | 说明 |
---|---|---|
1 | 文件名 | 上传的文件名称 |
2 | 大小 | 显示文件大小,文件夹不显示大小 |
3 | 创建人 | 文件上传人 |
4 | 更新时间 | 文件上传创建时间,文件夹不显示时间 |
5 | 文件路径 | 上传文件所在全路径 |
6 | 操作 | 使用该UDF的相关示例 |
7 | 操作 | 对当前UDF进行相关操作:删除、编辑 |
函数创建、发布
点击创建函数开始创建,基于用户上传的文件,进行UDF创建和发布:
序号 | 字段 | 说明 |
---|---|---|
1 | 数据库 | 该UDF函数存储数据库 |
2 | 函数名称 | 用户自定义填写UDF名称必填,支持字母、数字、'_'、限50个字符 |
3 | 类名 | UDF函数的类名必填,支持字母、数字、'_'、'.'、限128个字符 |
4 | 文件资源 | 输入文件资源的路径,支持添加多个 |
5 | 描述 | 使用该UDF的示例代码,非必填,限1024个字符 |
UDF创建完成后点击【发布】按钮对UDF进行发布,发布成功后当前UDF才能在后续开发中使用。
函数编辑
对已发布、不可用的UDF可进行编辑操作,点击【编辑】按钮操作:
UDF名称不可修改,其余项均可修改
函数删除
点击【删除】按钮执行删除操作:
UDF唯一性限制:统一数据库下只能有一个同名UDF
函数使用
后续数据开发中使用UDF时,需要在对应的库下使用,或者使用库名.UDF名称进行使用。
目前UDF仅注册在EDAP数据库上,可以使用UDF的功能如下:
(1)数据湖分析,数据源类型为EDAPDataLake时
(2)数据开发,可视化作业开发、脚本作业开发、实时flink开发数据源类型为EDAPDatalake时,并且sql执行引擎为hsql、jdbcsql、sparksql、flinksql时,可以使用udf
功能 | 类别 | UDF使用方式 |
---|---|---|
数据湖-数据湖分析 | EDAP | select edap.databasename.udfname from tableName(说明:蓝色需替换为实际值) |
离线开发-脚本作业开发 | HIVE SQL | set hive.allow.udf.load.on.demand=true;select [databasename].udfname from tableName |
文件引用
在以下场景涉及脚本文件引用时,仅需将文件上传至“文件管理”中,即可以下拉列表的方式引用。
离线开发
(1)脚本作业开发:Shell、Python、SparkJar
(2)作业组开发-脚本作业:Spark、Shell、Python
实时开发
(1)Flink作业