数据填报管理
管理页面概览
在空间工作台中,点击「数据填报」即可进入到数据填报的管理页面:
在管理页面中,可以新建数据填报页面或者新建文件夹、更改数据填报的发布状态,对数据填报进行编辑、删除、查看数据和复制操作。发布状态的设置,您可以参考快速入门中的数据填报的预览和发布。
新建数据填报
数据填报是可以设置该填报所收集数据的存储位置。一般情况下,您可以通过快速入门中的数据填报制作设置,即默认情况,数据会收集到Sugar BI内置的数据库中。(注意:如果您没有开启「上传 Excel/CSV」,则只能使用外置数据源
)但是,有时候您会需要在您自己的数据源上进行数据的存储以便于应用到您其他的业务中。这时候就可以打开「使用外置数据源」,如下图所示:
使用外置数据源时,您需要选择当前空间下存在的数据源,目前只支持的外置数据源包括 Excel/CSV
、MySQL 5.X
、MySQL 8
、GaiaDB
、PostgreSQL
、KingbaseES-人大金仓
、Greenplum
、SQL Server
、MariaDB
、Oracle
、TiDB
、CockroachDB
、openGauss-华为 GaussDB
、DM-达梦
以及Apache Doris-Baidu Palo
,由于 Palo
不支持对表结构的更改,因此对于 Palo
类型数据源只支持选择「已经存在的表」。并设置新建的数据表名称,之后该数据填报所收集的数据就会存储到这个数据源下了。但需要明确的一点是,数据收集需要对此数据源下进行建表、插入数据等写权限的操作,因此需要您的数据源绑定的用户是具有写权限的,否则是无法新建成功的。如果您不想赋予该账户删除相关的权限,可以开启「跳过写权限验证」。
此外,如果您的数据源下已经存在用于数据存储的数据表,您也可以打开「使用已存在的数据表」,并设置对应的表,系统会自动生成默认的数据填报表单,便于您快速设置。
数据填报的复制
复制数据填报时,由于表字段类型匹配和字段数量多少不一致的问题,是不能够设置「使用已存在的数据表」的。所有的复制都是基于当前数据填报的数据表来生成新的数据表。此外对于 Apache Doris-Baidu Palo
数据源,由于其只能使用已存在的表,因此不支持复制。如下图所示:
数据的导入和导出
对于建好的数据填报是支持数据的增删改查和导入导出的。这里主要介绍一下数据导入和导出。
导入数据
导入数据支持「追加」和「覆盖」两种方式,注意「覆盖」会先将表清空,然后再导入。支持 CSV 和 Excel 两种文件格式。Excel 会有多个 sheet 需要选择要导入的 sheet。 如果是 CSV 文件,内容请使用如下的格式:
用户名,年龄,生日
abc,20,1994-10-01
def,15,1999-05-01
数据格式方面目前支持 5 种:
- 文本
- 整数
- 浮点数,如
1.01
- 日期,如
2019-10-01
2019/10/01
- 日期时间,如
2019-10-01 10:00:00
2019/10/01 10:00:00
数据加载完成后,就需要设置数据填报数据表的字段和上传文件的数据列之间的关联映射关系,从而完成数据的导入。要注意它们之间的类型匹配,例如数值类型不能设置非数值的列等等,如果不匹配则会无法上传。如果某个表字段是非空的,需要确保上传数据的列没有空数据;如果是主键字段还需要确保对应的上传列在整个表中没有重复值,包括已经在数据表中的;否则都会导致导入失败。
导出数据
数据导出支持设置导出的文件名,文件格式,以及从哪一行开始导出。每次最多导出 20000 行数据,如果数据较多,请设置不同的「起始行」进行分批导出。