日志查询
所有文档

          Elasticsearch BES

          日志查询

          百度智能云Elasticsearch支持配置集群日志采集及日志定期清理,支持的日志类型包括索引慢日志及查询慢日志。

          注意:目前仅支持的ES版本为7.4.2+的集群进行配置使用

          集群日志配置

          1. 登录百度智能云Elasticsearch控制台,并点击集群名称,进入集群详情界面。
          2. 在左侧导航栏,单击日志管理

          image.png

          1. 点击开启日志查看功能开关,并进行日志定期清理配置,目前可配置1~7天的保留时间,集群日志超过保留时间后会被自动清理。
          2. 完成配置后集群将会收集索引及查询慢日志存储到您的ES集群中,生成前缀为 filebeat-7.4.2-* 的索引。

          配置开启慢日志

          默认情况,慢日志是关闭的。开启慢日志需要日志记录等级(INFO、WARN、DEBUG 等),定义义具体动作(query、fetch 或 index)以及时间阈值。

          举例如下:

          1. 配置集群慢日志级别为INFO
          PUT /_cluster/settings
          {
              "transient" : {
                  "logger.index.search.slowlog" : "INFO", 
                  "logger.index.indexing.slowlog" : "INFO" 
              }
          }
          1. 配置单个index索引慢日志时间阈值
          PUT /{index_name}/_settings
          {
             "index.indexing.slowlog.threshold.index.debug": "10ms",
             "index.indexing.slowlog.threshold.index.info": "50ms",
             "index.indexing.slowlog.threshold.index.warn": "100ms"
          }
          1. 配置所有日志索引慢日志时间阈值
          PUT /_all/_settings
          {
             "index.indexing.slowlog.threshold.index.debug": "10ms",
             "index.indexing.slowlog.threshold.index.info": "50ms",
             "index.indexing.slowlog.threshold.index.warn": "100ms"
          }

          集群日志查询

          此处展示通过Kibana查看的方式,您也可以通过连接ES自行查看

          登录该集群的Kibana,找到 filebeat-7.4.2-* 索引,这里查看的是索引慢日志

          image.png

          直接通过search api方式查询 例如:查询世界时间范围为 2021-01-06 8点到9点的慢查询日志

          GET /filebeat-7.4.2-slowlog-2021.01.06/_search
          {
            "query": {
              "range": {
                "@timestamp": {
                  "gte": "2021-01-06T08:00:00Z",
                  "lte": "2021-01-06T09:00:00Z"
                }
              }
            }
          }

          image.png

          使用仪表盘展示数据

          以集群慢查询日志为例,使用Kibana把数据在仪表盘中展示:

          创建索引模式Index Patterns

          image.png

          选择@timestamp为Time Filter field,Time Filter将使用此字段按时间筛选数据

          image.png

          使用Discover检索数据

          单击侧面导航中的 Discover 进入 Kibana 的数据探索功能:

          image.png

          创建Horizontal Bar(水平条形图)

          1. 在 New Visualization 页面中选择 Horizontal Bar 选项;

          image.png

          1. 选择配置的Index Pattern;

          image.png

          1. 如图,可以清楚的看出不同的时间内慢日志条数之间的对比,有助于排查慢查询问题。 例如此处可以清晰的看出查询超时大多集中在 1月7日 0点 之后

            image.png

            制作完成后,用户可以点击页面左上角 Save 然后输入名称 (如图示例my log histogram) 来保存这个图表供以后使用。

            image.png

            image.png

          更多Kibana使用可参考Kibana官方文档

          上一篇
          定时调度(公测中)
          下一篇
          账号使用说明