创建定时SQL分析任务
更新时间:2024-05-08
概述
定时SQL分析模块(原监控报警模块)目前支持日志转指标能力,可配置日志生成监控指标推送到BCM自定义监控,在BCM侧可查看监控指标,后续该模块会往定时SQL分析能力上发展,支持日志聚合,日志定时报表等能力
任务信息
在日志服务页面中点击“定时SQL分析”,进入“定时SQL分析列表”页面,点击“创建任务”,进入创建任务页面,填写配置信息。
配置内容
- 任务名称:请输入任务名称
- 日志集:选择日志集
- 查询语句:根据查询语句将日志中的指标进行汇总。
- 查询时间范围:查询语句筛选日志的时间范围,最多可汇总最近一天日志。
- 查询语句不支持纯检索语句
match ...
, 可以支持查询语句select ...
以及带有检索条件的查询语句match ...| select ...
- 在告警任务中使用检索条件的查询语句时,无需开启索引
- 每次调整告警查询语句和查询时间后,都需要执行"预览查询结果",并预览到结果后才能创建任务
-
推送指标:在预览结果中选择一个数字类型字段,作为告警的指标,定时汇总选中的指标信息进行监控。
- 推送指标需要选择查询语句结果中的某一个字段,可以在查询语句中通过别名调整推送的字段名称
- 不同的告警任务需要绑定不同名称的指标
-
监控周期:相邻两次指标汇总推送任务的最短时间间隔。
- 建议使用方式为设置监控周期等于查询时间范围
查询语句样例
日志样例
@stream | @Level | CountSkipRows |
---|---|---|
stream1 | Error | 23 |
stream1 | Info | 0 |
stream2 | Error | 1 |
CASE1 对已汇总指标进行监控
- SELECT CountSkipRows
- CountSkipRows 作为指标,需要在日志中已经被汇总为数字类型数值
- 每个推送周期内,指标数据条数不能超过 1000 条,超过部分会被丢弃
CASE2 汇总日志数据并监控指标
- SELECT COUNT(@Level) as cntLevel, @Level as level group by @Level
- 汇总 @Level 的字段出现次数,并将出现次数作为指标进行监控
- 监控指标由 3-50 个字符组成,包含字母、数字、- 和 _ ,可以通过改名操作调整指标名称
CASE3 过滤关键词,汇总日志数据并监控指标
- MATCH stream1 | SELECT COUNT(@Level) as cntLevel, @Level as level group by @Level
- 只匹配存在stream1的日志进行监控