通过智能边缘 BIE 将数据脱敏后存到云端 TSDB

前言

  • 本文测试所用设备系统为 Darwin
  • 模拟 MQTT client 向本地 Hub 模块发送消息的客户端为 MQTT.fx
  • 模拟 MQTT client 向云端远程 Hub 模块订阅消息的客户端为 MQTTBOX

测试前准备

实际应用场景中,我们需要把设备产生的数据在本地进行 脱敏 处理后上云展示。

本文则以某实际生产车间中的温度传感器为例,应用 OpenEdge,并联合 百度智能云天工 相关产品服务一起将温度传感器采集到的数据进行 脱敏 处理(如去除车间编号、设备型号、设备 ID 等信息),然后将 脱敏 后的数据上传至远程云端进行可视化展示。

其数据流经的路径/服务为:

MQTT.fx -> OpenEdge Local Hub -> OpenEdge Function SQL Runtime -> OpenEdge Local Hub -> OpenEdge MQTT Remote Module -> Baidu IoT Hub -> Baidu IoT Rule Engine -> Baidu IoT TSDB -> Baidu IoT Visualization

image.png

因此,在正式开始测试之前,我们需要在云端先把 IoT HubRule EngineTSDBVisualization 等相关配置完善。

创建物接入 Endpoint

相关创建过程可参考 快速创建物接入 Endpoint(包括创建用户、身份、策略及主题权限信息等),这里仅给出创建完成后的结果示意图。

image.png

如上,已创建好一个名为 openedge_demo 的物接入项目。其用户名为 vn33eye/test,身份信息为 principal,认证方式为证书认证,策略为 policy,对主题 data/filter 有发布和订阅消息的权限(详见下文测试时 MQTT Remote 远程服务模块配置)。

创建规则引擎 Rule

相关创建过程可参考 快速创建规则引擎 Rule(包括转换 SQL 语句编写、约束条件设置、数据目的地指定等)。这里需要创建两条规则,其一是用于对本地设备产生的原始数据进行过滤;其二是实时提取从物接入既定主题接收的数据消息,并将其转换为 TSDB 能够接收的数据内容,然后将之传送给 TSDB。创建完成后的结果示意图具体如下:

设备生产数据过滤用规则

image.png

如上,已创建好一个名为 filter 的规则,该规则用于对本地设备实际产生的原始数据进行 过滤、脱敏 等处理。图中所示为筛选实际生产数据中的 temperature、ts、unit 等字段,且满足 temperature > 50 信息,然后将之上传至远程云端 Hub 模块。

提示

  • 这里不需要为规则设置数据目的地;
  • 实例和主题配置虽是必选项,但该条规则从 BIE 云端管理平台下发后会自动抽取 SQL 语句部分,其他配置内容不会连同下发。

物接入既定主题接收消息用规则

image.png

如上,已创建好一个名为 openedge-demo 的规则,该规则会默认从物接入 Endpoint 的 data/filter 主题提取消息,然后通过 SQL 语句进行转换,将其转换为符合 TSDB 规范 的数据,并将之存储在名为 openedge 的 TSDB 数据库中。

创建 TSDB 数据库

相关创建过程可参考 快速创建TSDB(包括查询类别、时间范围、时间序列度量等),这里仅给出创建完成后的结果示意图。

image.png

如上,已创建好一个名为 openedge 的 TSDB 时序数据库,该数据库会默认查询 选定时间段 的符合时间序列度量标识的时序数据信息,且默认显示前 1000 个符合上述条件的值。

创建物可视展示板

相关创建过程可参考 快速创建物可视(包括设置来源数据表、时间序列度量信息等),这里仅给出创建完成后的结果示意图。

image.png

如上,已创建一个名为 openedge_demo 的物可视展示板,其展示数据来源于时序数据库 openedge,时间序列度量信息为 device_temperature,显示数据的时间依据数据存储 TSDB 的时间确定。

至此,正式测试前云端相关服务的创建、设置工作已经完成。

提示:以上创建的物接入 Endpoint、规则引擎 Rule、TSDB 数据库及物可视展示板的所属区域应为同一个(如均为北京,或是均为广州)。

基本步骤流程

将生产设备数据经 脱敏 后上云、写入 TSDB 及在云端物可视进行展示所涉及的流程步骤主要包括:

  • 步骤1: 创建核心并下载配置(含主程序) 在 BIE 云端管理套件页面选定区域(北京,或广州)创建核心,完善核心创建所需配置信息,点击“下载配置”,然后选择包含主