数据管理
数据管理包括数据导入,导出以及清理数据。
数据导入
导入示范数据
示范数据用于帮助用户体验时序数据的各项功能。示范数据含有2015年全年北京、上海、广州3个城市每一个空气监测站的每一天的早晨8点采集的温度、湿度、风力、PM2.5、紫外线指数等气象模拟数据(非真实数据),每一个数据点所属城市城市的名称、邮编,以及该监测站的地理位置(经纬度)等标签,方便您快速体验、理解时序数据库各项查询、聚合及图表展示功能。
- 选择“产品服务>时序数据库TSDB>数据库名称”,进入数据库详情页面。
-
点击“导入>导入示范数据>导入数据”,在弹出对话框中点击“确认”,完成导入示范数据操作。导入后可在下方查看到对应的导入记录。
有关示范数据库的操作示例,请查看生成示范数据库图表。
导入数据
用户可以将前期导出到BOS中的数据重新导入TSDB,也可以导入用户本地的数据。如果从本地导入用户自有数据,需先将数据文件上传至BOS,文件格式为.CSV。
注意:
同一个metric的不同field不要求在同一个导入任务中全部导入,而是可以分多次导入。只要导入的metric、timestamp、tag值相同,即可在一次查询中,同时查询出通过多次导入的多个field。
用户的自有数据中必须包含“metric”、“timestamp”、至少一个“field”和至少一个“tag”。其中:
- 第一列表头必须为“metric”,表示数据点的metric。
- 第二列表头必须为“timestamp”,表示数据点的timestamp,单位为毫秒为格林威治时间1970年01月01日00时00分00秒(北京时间1970年01月01日08时00分00秒)起至现在的总毫秒数。
-
第三列及之后的列:
* 如果表头包含冒号“:”,则表示该列为数据点的field,冒号前的是field名称,冒号后的是field类型(支持Number、String、Bytes,其中Bytes类型的列的值需要进过base64编码)。如下图中的“value:Number”。 * 如果表达不包含冒号,则表示该列为数据点的tag,表头为tag名称,列的内容为tag值。下图红框内容为tag名称。
- 选择“产品服务>时序数据库TSDB>数据库名称”,进入数据库详情页面。
-
点击“导入>导入备份数据>导入数据”,在弹出对话框中选择指定的Bucket名称和文件,并设置编码格式;点击“确认”,完成导入示范数据操作。
数据导出
TSDB提供手动导出和自动导出两种数据导出方法。
手动导出数据
通过导出功能可以将当前数据导出至BOS Bucket。BOS(Baidu Object Storage)即百度对象存储,可以为用户提供稳定、安全、高效以及高扩展存储服务。Bucket即BOS中的一个命名空间。
在导出数据之前,用户应先开通对象存储服务并创建Bucket。
导出数据的具体操作如下:
- 选择“产品服务>时序数据库TSDB”,进入“数据库列表”页面。
-
点击数据库名称,进入数据库详情页面;点击“导入导出>导出>手动导出数据”页签,进入导出操作页面。
-
点击“创建导出”,在弹出窗口配置以下信息,包括:
- 导出地址:存放导出文件的BOS Bucket地址。如果用户已创建BOS Bucket,此时可在“导出地址”的下拉列表中选择指定的Bucket名称;如果用户尚未创建BOS Bucket,也可点击“新建Bucket”,快速创建Bucket。
- 时间范围:可选择导出全部数据或仅导出指定时间范围内的数据。
- 度量:可导出所有度量的数据或仅导出指定度量的数据。
- 导出文件格式:目前只支持CSV格式。
- 导出文件个数:支持将所有数据导出为一个文件(数据量大时因为bos文件大小限制会拆分为多个文件)或将数据并行导出为多个文件(适合大数据导出)。
完成配置后点击“确定”完成数据导出操作。
-
完成导出操作后,用户可返回至导出操作页面,查看导出结果。此时可点击“查看详情”,获取导出的详细信息及对应的BOS Bucket地址。
自动导出数据
打开自动导出功能后,系统将在每日凌晨自动导出前一日至当日00:00时间范围内的数据,具体操作如下:
- 选择“产品服务>时序数据库TSDB”,进入“数据库列表”页面。
-
点击数据库名称,进入数据库详情页面;点击“导入导>导出>自动导出数据”页签,进入导出操作页面。
-
打开“自动定时导出”开关,并设置“导出地址”和“导出文件个数”。
- 导出地址:存放导出文件的BOS Bucket地址。如果用户已创建BOS Bucket,此时可在“导出地址”的下拉列表中选择指定的Bucket名称;如果用户尚未创建BOS Bucket,也可点击“新建Bucket”,快速创建Bucket。
- 导出文件个数:支持将所有数据导出为一个文件(数据量大时因为bos文件大小限制会拆分为多个文件)或将数据并行导出为多个文件(适合大数据导出)。
- 点击“保存”,使配置生效。
数据清理
注意:数据清理主要是供删除调试的测试数据使用,对正式数据请谨慎使用。
选择“产品服务>时序数据库TSDB”,进入“数据库列表”页面。
点击数据库名称,进入数据库详情页面;点击“数据清理”页签,进入数据清理页面。
系统默认给出最近1小时内的数据清理信息,如果需要清理更多内容,可点击右面下拉菜单,切换时间范围。
数据时效
选择“产品服务>时序数据库TSDB”,进入“数据库列表”页面。
点击数据库名称,进入数据库详情页面;点击“数据时效”页签,进入数据时效页面。
将数据时效设置为 ON(开启),设置时效范围,以天为单位,保存后,系统会保留时效内的数据。
注意:
启用数据时效功能,系统将自动删除时效范围之外的数据。