常用查询语句示例

更新时间：2020-12-30

此文档介绍实际业务场景中常用的一些格式转换语句用法，用户可以参考这些示例完成数据查询语句的编写。

消息示例

示例消息包含了大部分常见的设备上报消息格式，如无特殊说明将以此示例消息或此消息的一部分作为原始数据进行演示。

    {
        "reqId":"442c1da4-9d3a-4f9b-a6e9-bfe858e4ac43",
        "method":"thing.event.post",
        "timestamp":1465376157007,
        "deviceName":"device001",
        "productName":"product001",
        "params":{
            "host":"192.166.1.1",
            "color":"red",
            "historydDatas":[
                {
                    "key":"temperature",
                    "value":50,
                    "time":1465376157007
                },
                {
                    "key":"humidity",
                    "value":80,
                    "time":1465376157337
                },
                {
                    "key":"pressure",
                    "value":8.5,
                    "time":1465376157337
                },
                {
                    "key":"speed",
                    "value":80,
                    "time":1465376157337
                }
            ]
        },
        "properties":{
            "temperature":35,
            "humidity":22
        },
        "other":{
            "Misc":null
        }
    }

基础用法

固定格式A转换为固定格式B

适用场景

适合输入消息格式固定且元素个数固定，仅对数据进行格式转换的场景。

可以选取原始消息中任何值赋值给目标格式对应key，可以将函数返回值（如$millis()获取时间戳）、常量（"msgtype":"property"）等原始消息中没有的信息到目标格式中。

原始消息

    {
      "reqId":"442c1da4-9d3a-4f9b-a6e9-bfe858e4ac43",
      "deviceName":"device001",
      "productName":"product001",
      "properties":{
          "temperature":35,
          "humidity":22
      },
      "other":{
          "Misc":null
      }
    }

目标数据

    {
      "token": "442c1da4-9d3a-4f9b-a6e9-bfe858e4ac43",
      "msgtype": "property",
      "timestamp": 1596821067991,
      "tags": {
        "deviceName": "device001",
        "productName": "product001"
      },
      "report": {
        "temperature_new": 35,
        "humidity_new": 22
      }
    }

查询语句

    {
      "token": reqId,
      "msgtype":"property",
      "timestamp":$millis(),
      "tags":{
          "deviceName":deviceName,
          "productName":productName
          },
      "report":{
          "temperature_new":properties.temperature,
          "humidity_new":properties.humidity
      }
    }

详解

语法	描述
"token": reqId	将原始消息中reqId重命名为token
"msgtype":"property"	向目标数据中添加msgtype属性并赋给固定值"property"
"timestamp":$millis()	向目标数据中添加timestamp属性并赋给从平台获得的时间戳
"tags":{"deviceName":deviceName,"productName":productName}	将deviceName、productName组装成一个对象赋值给属性tags

高阶用法

向原始消息中添加属性

适用场景

保持原始消息中所有keys不变的情况，向原始消息中添加额外的属性
原始消息

    {
      "reqId":"442c1da4-9d3a-4f9b-a6e9-bfe858e4ac43",
      "method":"thing.event.post",
      "deviceName":"device001",
      "productName":"product001",
      "properties":{
          "temperature":35,
          "humidity":22
      }
    }

目标数据

添加timestamp、a两个新属性到原始消息中

    {
      "reqId": "442c1da4-9d3a-4f9b-a6e9-bfe858e4ac43",
      "method": "thing.event.post",
      "timestamp": 1596815775720,
      "a":100,
      "deviceName": "device001",
      "productName": "product001",
      "properties": {
        "temperature": 35,
        "humidity": 22
      }
    }

查询语句

    $merge([$,{
        "timestamp":$millis(),
        "a":100
        }])

详解

$merge()函数可以将对象数组中所有对象合并为一个对象并且去除掉相同的key只保留最后一次的值，我们把原始消息作为数组的第一个元素，将需要添加的keys组成一个对象作为数组的第二个元素

语法	描述
{"timestamp":$millis(),"a":100}	将需要添加的所有元素放入一个对象,此例中添加属性timestamp和states
[$,{"timestamp":$millis(),"a":100}]	将原始消息 $ 与待添加元素对象放入同一个数组
$merge([$,{"timestamp":$millis(),"a":100}])	使用$merge()函数合并原始消息和待添加属性
"timestamp":$millis()	添加一个时间戳属性
"a":100	添加一个常量属性

删除原始消息中指定属性

适用场景

原始消息中包含业务不需要的属性，通过指定keys删除指定属性
原始消息

    {
      "reqId": "442c1da4-9d3a-4f9b-a6e9-bfe858e4ac43",
      "method": "thing.event.post",
      "timestamp": 1596815775720,
      "a":100,
      "deviceName": "device001",
      "productName": "product001",
      "properties": {
        "temperature": 35,
        "humidity": 22
      }
    }

目标数据

删除原始消息中timestamp、a两个属性

    {
      "reqId":"442c1da4-9d3a-4f9b-a6e9-bfe858e4ac43",
      "method":"thing.event.post",
      "deviceName":"device001",
      "productName":"product001",
      "properties":{
          "temperature":35,
          "humidity":22
      }
    }

查询语句

    $sift($, function($v,$k,$a) {$k!="timestamp" and $k!="a"})

详解

使用$sift()函数遍历对象所有属性并且对每个属性使用回调函数判断是否需要删除并返回过滤后的新对象。

语法	描述
$k!="timestamp" and $k!="a"	设置过滤条件，此例中我们删除timestamp和a两个属性
$sift($, function($v,$k,$a) {$k!="timestamp" and $k!="a"})	过滤原始消息，得到新对象

数据写入TSDB

设备上报数据存储到TSDB是物联网场景中比较常见的场景，规则引擎支持将设备数据转换为TSDB写入接口要求的格式。

设备数据通过规则引擎写入TSDB时必须转换为以下格式（具体格式要求请参考TSDB数据接口文档）：

    {
    "datapoints": [{
        "metric": "cpu_idle",
        "tags": {
            "host": "server1",
            "rack": "rack1"
        },
        "timestamp": 1465376157007,
        "value": 51
    }, {
        "metric": "cpu_idle",
        "tags": {
            "host": "server2",
            "rack": "rack2"
        },
        "values": [
            [1465376269769, 67],
            [1465376325057, 60]
        ]
    }]
    }

我们提供了多种数据格式写入TSDB的查询语句模板，可在规则「编辑调试」页点击「数据查询模板」查看并选择符合自己设备上报格式的模板编辑修改为最终的查询语句。

特别注意，在以TSDB作为规则目的地的场景下，查询语句的目的是为了构建TSDB写入接口支持的数据格式，任何可以构造出TSDB写入要求格式的查询语句均可，模板示例仅仅提供几种常见消息格式的转化思路，模板中未包含的原始消息格式，用户可以利用函数自行编写更多的语句

模板01-k:v格式、固定点数逐点配置

适用场景

适用于原始消息中data point点数固定场景，每个data point可指定tags、timestamp等。

原始消息

{
    "reported": {
        "cpu_idle": 51,
        "wind": {
            "speed": [
                [
                    1465376269769,
                    67
                ],
                [
                    1465376325057,
                    60
                ]
            ]
        }
    },
    "host": "server2",
    "rack": "rack2",
    "lastupdate": 1465376157007
}

目标数据

{
    "datapoints": [
        {
            "metric": "cpu_idle",
            "tags": {
                "host": "server2",
                "rack": "rack2"
            },
            "timestamp": 1465376157007,
            "value": 51
        },
        {
            "metric": "wind",
            "field": "speed",
            "tags": {
                "host": "server2",
                "rack": "rack2"
            },
            "values": [
                [
                    1465376269769,
                    67
                ],
                [
                    1465376325057,
                    60
                ]
            ]
        }
    ]
}

查询语句

    {
        "datapoints": [
            {
                "metric": "cpu_idle",
                "tags": {
                    "host": host,
                    "rack": rack
                },
                "timestamp": lastupdate,
                "value": reported.cpu_idle
            },
            {
                "metric": "wind",
                "field": "speed",
                "tags": {
                    "host": host,
                    "rack": rack
                },
                "timestamp": lastupdate,
                "values": reported.wind.speed
            }
        ]
    }

详解

使用基本的赋值语句直接构建目标数据格式。

模板02-k:v格式、单域-统一时间戳

适用场景

适用于数据点包含在对象中以{key:value}格式上报，且数据点个数可变场景。

原始消息

    {
    "reported": {
        "key1": 100,
        "key2": "rack33333"
    },
    "host": "server2",
    "rack": "rack2",
    "lastupdate": 1465376157007
    }

目标数据

    {
    "datapoints": [
        {
            "metric": "key1",
            "tags": {
                "host": "server2",
                "rack": "rack2"
            },
            "timestamp": 1465376157007,
            "value": 100
        },
        {
            "metric": "key2",
            "tags": {
                "host": "server2",
                "rack": "rack2"
            },
            "timestamp": 1465376157007,
            "value": "rack33333"
        }
    ]
}

查询语句

    {
    "datapoints": [$each(reported, function($v, $k) {
        {
            "metric": $k,
            "tags": {
                "host": host,
                "rack": rack
            },
            "timestamp": lastupdate,
            "value": $v
        }
    })]
    }

详解

利用$each()函数遍历reported对象所有元素，构建目标格式。

模板03-k:v格式、多域-统一时间戳

适用场景

适用于数据点包含在对象中以{key:value}格式上报，且数据点个数可变场景。

原始消息

    {
    "reported": {
        "key1": 100,
        "key2": "rack33333"
    },
    "host": "server2",
    "rack": "rack2",
    "lastupdate": 1465376157007
}

目标数据

    {
    "datapoints": [
        {
            "metric": "cpu_idle",
            "field": "key1",
            "tags": {
                "host": "server2",
                "rack": "rack2"
            },
            "timestamp": 1465376157007,
            "value": 100
        },
        {
            "metric": "cpu_idle",
            "field": "key2",
            "tags": {
                "host": "server2",
                "rack": "rack2"
            },
            "timestamp": 1465376157007,
            "value": "rack33333"
        }
    ]
}

查询语句

    {
    "datapoints": [$each(reported, function($v, $k) {
        {
            "metric": "cpu_idle",
            "field": $k,
            "tags": {
                "host": host,
                "rack": rack
            },
            "timestamp": lastupdate,
            "value": $v
        }
    })]
}

详解

利用$each()函数遍历reported对象所有元素，构建目标格式。

模板04-k:v格式、单域-独立时间戳

适用场景

适用于数据点包含在对象中以key:value和key:time分别已对象格式上报，且数据点个数可变场景。

原始消息

    {
    "reported": {
        "key1": 100,
        "key2": "rack33333"
    },
    "host": "server2",
    "rack": "rack2",
    "lastupdate": {
        "key1": 1465376157007,
        "key2": 1465376157337
    }
}

目标数据

    {
    "datapoints": [
        {
            "metric": "key1",
            "tags": {
                "host": "server2",
                "rack": "rack2"
            },
            "timestamp": 1465376157007,
            "value": 100
        },
        {
            "metric": "key2",
            "tags": {
                "host": "server2",
                "rack": "rack2"
            },
            "timestamp": 1465376157337,
            "value": "rack33333"
        }
    ]
}

查询语句

    {
    "datapoints": [$each(reported, function($v, $k) {
        {
            "metric": $k,
            "tags": {
                "host": host,
                "rack": rack
            },
            "timestamp": $lookup(lastupdate, $k),
            "value": $v
        }
    })]
}

详解

利用$each()函数遍历reported对象所有元素，同时使用$lookup()函数获取存储时间戳的对象lastupdate中对应的值赋值给timestamp。

模板05-k:v格式、多域-独立时间戳

适用场景

适用于数据点包含在对象中以key:value和key:time分别已对象格式上报，且数据点个数可变场景。

原始消息

    {
    "reported": {
        "key1": 100,
        "key2": "rack33333"
    },
    "host": "server2",
    "rack": "rack2",
    "lastupdate": {
        "key1": 1465376157007,
        "key2": 1465376157337
    }
}

目标数据

    {
    "datapoints": [
        {
            "metric": "cpu_idle",
            "field": "key1",
            "tags": {
                "host": "server2",
                "rack": "rack2"
            },
            "timestamp": 1465376157007,
            "value": 100
        },
        {
            "metric": "cpu_idle",
            "field": "key2",
            "tags": {
                "host": "server2",
                "rack": "rack2"
            },
            "timestamp": 1465376157337,
            "value": "rack33333"
        }
    ]
}

查询语句

    {
    "datapoints": [$each(reported, function($v, $k) {
        {
            "metric": 'cpu_idle',
            "field": $k,
            "tags": {
                "host": host,
                "rack": rack
            },
            "timestamp": $lookup(lastupdate, $k),
            "value": $v
        }
    })]
}

详解

利用$each()函数遍历reported对象所有元素，同时使用$lookup()函数获取存储时间戳的对象lastupdate中对应的值赋值给timestamp。

模板06-kvt格式数组、单域

适用场景

key:value数组格式写入适用于使用{key:x,value:y,time:1596538832000}数组方式批量上报数据场景，如断线续传、打包上传等。

原始消息

    {
    "reported": [
        {
            "k": "key1",
            "v": "value1",
            "t": 1465376157007
        },
        {
            "k": "key2",
            "v": 100,
            "t": 1465376157337
        }
    ],
    "host": "server2",
    "rack": "rack2"
}

目标数据

    {
    "datapoints": [
        {
            "metric": "key1",
            "tags": {
                "host": "server2",
                "rack": "rack2"
            },
            "timestamp": 1465376157007,
            "value": "value1"
        },
        {
            "metric": "key2",
            "tags": {
                "host": "server2",
                "rack": "rack2"
            },
            "timestamp": 1465376157337,
            "value": 100
        }
    ]
}

查询语句

    {
    "datapoints": [$map(reported, function($v, $i, $a) {
        {
            "metric": $v.k,
            "tags": {
                "host": host,
                "rack": rack
            },
            "timestamp": $v.t,
            "value": $v.v
        }
    })]
}

详解

利用$map()函数遍历reported数组对象所有元素。

模板07-kvt格式数组、多域

适用场景

key:value数组格式写入适用于使用{key:x,value:y,time:1596538832000}数组方式批量上报数据场景，如断线续传、打包上传等。

原始消息

    {
    "reported": [
        {
            "k": "key1",
            "v": "value1",
            "t": 1465376157007
        },
        {
            "k": "key2",
            "v": 100,
            "t": 1465376157337
        }
    ],
    "host": "server2",
    "rack": "rack2"
}

目标数据

    {
    "datapoints": [
        {
            "metric": "cpu_idle",
            "field": "key1",
            "tags": {
                "host": "server2",
                "rack": "rack2"
            },
            "timestamp": 1465376157007,
            "value": "value1"
        },
        {
            "metric": "cpu_idle",
            "field": "key2",
            "tags": {
                "host": "server2",
                "rack": "rack2"
            },
            "timestamp": 1465376157337,
            "value": 100
        }
    ]
}

查询语句

    {
    "datapoints": [$map(reported, function($v, $i, $a) {
        {
            "metric": 'cpu_idle',
            "field": $v.k,
            "tags": {
                "host": host,
                "rack": rack
            },
            "timestamp": $v.t,
            "value": $v.v
        }
    })]
}

详解

利用$map()函数遍历reported数组对象所有元素。

模板08-k:vt格式数组、单域

适用场景

适用于使用{key:value,time:1596538832000}数组方式批量上报数据场景，如断线续传、打包上传等。

原始消息

    {
    "reported": [
        {
            "k1": "value1",
            "t": 1465376157007
        },
        {
            "k2": 100,
            "t": 1465376157337
        }
    ],
    "host": "server2",
    "rack": "rack2"
}

目标数据

    {
    "datapoints": [
        {
            "metric": "k1",
            "tags": {
                "host": "server2",
                "rack": "rack2"
            },
            "timestamp": 1465376157007,
            "value": "value1"
        },
        {
            "metric": "k2",
            "tags": {
                "host": "server2",
                "rack": "rack2"
            },
            "timestamp": 1465376157337,
            "value": 100
        }
    ]
}

查询语句

    {
    "datapoints": [$map(reported, function($v, $i, $a) {
        {
            "metric": $filter($keys($v), function($v, $i, $a) { $v!='t' }),
            "tags": {
                "host": host,
                "rack": rack
            },
            "timestamp": $v.t,
            "value": $lookup($v,$filter($keys($v), function($v, $i, $a) { $v!='t' }))
        }
    })]
}

详解

利用$map()函数遍历reported对象所有元素，在赋值metric时使用$filter()函数过滤掉其他key从而获得需要存储的metric，在赋值value时使用$lookup()函数查询metric对应的value。

模板09-k:vt格式数组、多域

适用场景

适用于使用{key:value,time:1596538832000}数组方式批量上报数据场景，如断线续传、打包上传等。

原始消息

    {
    "reported": [
        {
            "k1": "value1",
            "t": 1465376157007
        },
        {
            "k2": 100,
            "t": 1465376157337
        }
    ],
    "host": "server2",
    "rack": "rack2"
}

目标数据

    {
    "datapoints": [
        {
            "metric": "cpu_idle",
            "field": "key1",
            "tags": {
                "host": "server2",
                "rack": "rack2"
            },
            "timestamp": 1465376157007,
            "value": "value1"
        },
        {
            "metric": "cpu_idle",
            "field": "key2",
            "tags": {
                "host": "server2",
                "rack": "rack2"
            },
            "timestamp": 1465376157337,
            "value": 100
        }
    ]
}

查询语句

    {
    "datapoints": [$map(reported, function($v, $i, $a) {
        {
            "metric": "cpu_idle",
            "field": $filter($keys($v), function($v, $i, $a) { $v!='t' }),
            "tags": {
                "host": host,
                "rack": rack
            },
            "timestamp": $v.t,
            "value": $lookup($v, $filter($keys($v), function($v, $i, $a) { $v!='t' }))
        }
    })]
}

详解

过滤指定条件数据

根据设备固件版本处理消息

适用场景

当对设备进行功能升级时，新增功能带来设备上报的payload格式发生变化，此时在平台必须针对不同固件版本的设备使用不同的规则进行处理。

数据来源

假设设备上报数据的topic为$iot/123456/events，规则数据来源设置为：

$iot/+/events

原始消息

在设备上报消息中增加表示固件版本的字段，示例中我们使用“version”来表示

    {
      "reqId":"442c1da4-9d3a-4f9b-a6e9-bfe858e4ac43",
      "version":"1.0",
      "deviceName":"device001",
      "productName":"product001",
      "properties":{
          "temperature":35,
          "humidity":22
      },
      "other":{
          "Misc":null
      }
    }

过滤条件

    version="1.0"

详解

利用设置的version="1.0"条件，仅当固件版本为1.0的设备上报的消息被当前规则的查询条件继续处理，其他版本设备可按相同方式设置多个规则分别进行处理。

数据查询语法和函数

运维管理

百度智能云

物联网核心套件 IoTCore