概述

EDAP提供文件管理功能，用户在数据开发场景中依赖很多脚本、Jar包等文件，可将其上传、更新、删除、文件夹分类等管理，同时离线开发、实时开发中可通过节点配置引用此文件，方便用户对文件的管理使用。

功能介绍

文件管理

在后续数据开发过程中需要使用到第三方的 jar 或者用户自定义脚本、文件的情况，可以通过文件管理页面完成文件上传、管理等相关操作。

提供文件上传、管理等功能：

新建文件夹

新建文件夹，用于对文件分类管理。

上传文件

点击“上传文件”进行文件上传，支持单个/多个（最多10个）文件上传。

文件上传相关限制：

1. 支持多个文件上传，最多十个文件；
2. 支持单文件最大20M；
3. 同文件夹下同名文件直接覆盖。

下载文件

文件列表支持对已上传的文件进行下载操作，文件夹不支持下载。

1. 支持单个/多个文件下载；
2. 判断是否勾选文件夹，勾选文件后“下载”按钮无法点击。

删除文件

支持对已上传的文件进行删除操作：

1. 支持单个/多个文件删除；
2. 文件所有操作调用HDFS侧接口；
3. 判断要删除的文件夹下是否有文件，不允许删除非空文件夹。

文件管理列表

文件管理列表展示目前已上传的所有文件详情：

表单项说明：

表单项	说明
文件名	上传的文件名称
大小	显示文件大小，文件夹不显示大小
创建人	文件上传人
更新时间	文件上传创建时间，文件夹不显示时间
文件路径	上传文件所在全路径
操作	删除：对文件进行删除操作，下载：对文件进行下载操作，不支持文件夹下载

函数管理

函数管理模块支持函数注册、管理。

函数列表

• 支持通过「创建人」进行列表信息过滤检索，支持模糊搜索
• 支持通过函数名称进行列表信息过滤检索，支持模糊搜索，支持刷新
• 点击创建函数即可创建一个新的函数

列表项说明：

序号	字段	说明
1	文件名	上传的文件名称
2	大小	显示文件大小，文件夹不显示大小
3	创建人	文件上传人
4	更新时间	文件上传创建时间，文件夹不显示时间
5	文件路径	上传文件所在全路径
6	操作	使用该UDF的相关示例 删除：对文件进行删除操作 下载：对文件进行下载操作，不支持文件夹下载
7	操作	对当前UDF进行相关操作：删除、编辑

函数创建、发布

点击创建函数开始创建，基于用户上传的文件，进行UDF创建和发布：

序号	字段	说明
1	数据库	该UDF函数存储数据库
2	函数名称	用户自定义填写UDF名称必填，支持字母、数字、'_'、限50个字符
3	类名	UDF函数的类名必填，支持字母、数字、'_'、'.'、限128个字符
4	文件资源	输入文件资源的路径，支持添加多个
5	描述	使用该UDF的示例代码，非必填，限1024个字符

UDF创建完成后点击【发布】按钮对UDF进行发布，发布成功后当前UDF才能在后续开发中使用。

函数编辑

对已发布、不可用的UDF可进行编辑操作，点击【编辑】按钮操作：

UDF名称不可修改，其余项均可修改

函数删除

点击【删除】按钮执行删除操作：

UDF唯一性限制：统一数据库下只能有一个同名UDF

函数使用

后续数据开发中使用UDF时，需要在对应的库下使用，或者使用库名.UDF名称进行使用。

目前UDF仅注册在EDAP数据库上，可以使用UDF的功能如下：

（1）数据湖分析，数据源类型为EDAPDataLake时

（2）数据开发，可视化作业开发、脚本作业开发、实时flink开发数据源类型为EDAPDatalake时，并且sql执行引擎为hsql、jdbcsql、sparksql、flinksql时，可以使用udf

功能	类别	UDF使用方式
数据湖-数据湖分析	EDAP	select edap.databasename.udfname from tableName（说明：蓝色需替换为实际值）
离线开发-脚本作业开发	HIVE SQL	set hive.allow.udf.load.on.demand=true;select [databasename].udfname from tableName

文件引用

在以下场景涉及脚本文件引用时，仅需将文件上传至“文件管理”中，即可以下拉列表的方式引用。

离线开发

（1）脚本作业开发：Shell、Python、SparkJar

（2）作业组开发-脚本作业：Spark、Shell、Python

实时开发

（1）Flink作业