日志查询(旧)
更新时间:2023-10-18
百度智能云Elasticsearch支持配置集群日志采集及日志定期清理,支持的日志类型包括索引慢日志及查询慢日志。
注意:目前仅支持的ES版本为7.4.2+的集群进行配置使用
集群日志配置
- 登录百度智能云Elasticsearch控制台,并点击集群名称,进入集群详情界面。
- 在左侧导航栏,单击日志管理。
- 点击开启日志查看功能开关,并进行日志定期清理配置,目前可配置1~7天的保留时间,集群日志超过保留时间后会被自动清理。
- 完成配置后集群将会收集索引及查询慢日志存储到您的ES集群中,生成前缀为 filebeat-7.4.2-* 的索引。
配置开启慢日志
默认情况,慢日志是关闭的。开启慢日志需要日志记录等级(INFO、WARN、DEBUG 等),定义义具体动作(query、fetch 或 index)以及时间阈值。
举例如下:
- 配置集群慢日志级别为INFO
PUT /_cluster/settings
{
"transient" : {
"logger.index.search.slowlog" : "INFO",
"logger.index.indexing.slowlog" : "INFO"
}
}
- 配置单个index索引慢日志时间阈值
PUT /{index_name}/_settings
{
"index.indexing.slowlog.threshold.index.debug": "10ms",
"index.indexing.slowlog.threshold.index.info": "50ms",
"index.indexing.slowlog.threshold.index.warn": "100ms"
}
- 配置所有日志索引慢日志时间阈值
PUT /_all/_settings
{
"index.indexing.slowlog.threshold.index.debug": "10ms",
"index.indexing.slowlog.threshold.index.info": "50ms",
"index.indexing.slowlog.threshold.index.warn": "100ms"
}
集群日志查询
此处展示通过Kibana查看的方式,您也可以通过连接ES自行查看
登录该集群的Kibana,找到 filebeat-7.4.2-* 索引,这里查看的是索引慢日志
直接通过search api方式查询 例如:查询世界时间范围为 2021-01-06 8点到9点的慢查询日志
GET /filebeat-7.4.2-slowlog-2021.01.06/_search
{
"query": {
"range": {
"@timestamp": {
"gte": "2021-01-06T08:00:00Z",
"lte": "2021-01-06T09:00:00Z"
}
}
}
}
使用仪表盘展示数据
以集群慢查询日志为例,使用Kibana把数据在仪表盘中展示:
创建索引模式Index Patterns
选择@timestamp为Time Filter field,Time Filter将使用此字段按时间筛选数据
使用Discover检索数据
单击侧面导航中的 Discover 进入 Kibana 的数据探索功能:
创建Horizontal Bar(水平条形图)
- 在 New Visualization 页面中选择 Horizontal Bar 选项;
- 选择配置的Index Pattern;
-
如图,可以清楚的看出不同的时间内慢日志条数之间的对比,有助于排查慢查询问题。 例如此处可以清晰的看出查询超时大多集中在 1月7日 0点 之后
制作完成后,用户可以点击页面左上角 Save 然后输入名称 (如图示例my log histogram) 来保存这个图表供以后使用。
更多Kibana使用可参考Kibana官方文档