概述

定时SQL分析能力升级，支持将日志检索结果保存到目标日志集和Cprom指标集，用于定时数据分析、日志聚合、信息过滤、日志转指标等场景。

任务信息

在日志服务页面中点击“定时SQL分析”，进入“定时SQL分析列表”页面，点击“创建任务”，进入创建任务页面，填写配置信息。

配置内容

基本配置

• 任务名称：请输入任务名称
• 源日志集：选择源日志集

• 写入目标：日志集和指标集

  • 目标日志集选择：选择一个日志集，不可和源日志集重复
  • 目标指标集选择：选择Cprom对应地域的集群型实例，需要输入Token，从cprom集群实例详情获取
• 执行语句：根据查询语句将日志中的指标进行汇总。
• 执行时间范围：查询语句筛选日志的时间范围。
• 指标名称：选择指标集时需要配置指标名称。必填，支持多选，只获取数值类型指标字段：支持英文、数字、下划线或连接符，3~50个字符
• 指标维度：选择指标集时可选配置维度。非必填，获取执行语句里的维度信息，支持多选：支持数字、英文、_的组合形式（不支持纯数字），1~50个字符。不可和指标名称重复

调度配置

• 调度的开始和结束时间：需要定时 SQL 任务处理的日志数据的范围；

  • 新建时默认开始时间是当前时间，可设置之前时间，但任务从创建完成任务开始执行
  • 结束时间不填，不填是无限的意思，推荐无限，持续将新采集的日志转换为指标
  • 编辑时开始和结束时间置灰，不可修改

• 调度周期：每隔一段时间会发起一次日志查询，或固定时间发起日志查询

  • 固定间隔多久，1-59分钟，1-24小时
  • 固定时间进行调度，每天，每周一到每周日

• SQL查询范围：指定查询语句的时间窗口

  • 快速配置：近多少分钟（1-59分钟），近多少小时（1-24），默认近1分钟
  • 时间表达式方式：时间窗口表达式的最小精度为m（m：分钟，h：小时），该时间范围不能大于调度间隔的5倍且不能超过1天。
• 调度预览：调度开始后会根据SQL查询范围查询日志并执行后输出结果到目标日志集或指标集，间隔一段调度周期后，会再次进行调度，直到调度结束时间未知。

查询语句样例

日志样例

@stream	Level	CountSkipRows
stream1	Error	23
stream1	Info	0
stream2	Error	1

CASE1 过滤Error日志存到新的日志集

• Level:Error | SELECT *

• 过滤Error日志存到新的日志集里

CASE1 对已汇总指标进行监控

• SELECT CountSkipRows

• CountSkipRows 作为指标，需要在日志中已经被汇总为数字类型数值

CASE2 汇总日志数据并监控指标

• SELECT COUNT(Level) as cntLevel, @Level as level group by @Level

• 汇总 Level 的字段出现次数，并将出现次数作为指标进行监控

CASE3 过滤关键词，汇总日志数据并监控指标

• MATCH stream1 | SELECT COUNT(Level) as cntLevel, @Level as level group by @Level

• 只匹配存在stream1的日志进行监控