集群日志查看

百度 Elasticsearch 支持用户查看集群的后台日志。用户可以使用相关接口,将集群的后台日志推送到百度智能云的 BOS 存储服务上,方便用户下载并查看日志,后续根据自己的业务需求进行调优。具体说明如下:

  • 查看节点的日志信息

    GET /_bpack/log/{nodeId}/list
    
    参数 作用
    nodeId 一个或多个节点ID(nodeId 可通过 GET _cat/nodes?v 返回的 "name" 列得到,如果不填的话返回全部节点的日志信息)
  • 上传日志到百度智能云的 BOS 存储服务上

    POST /_bpack/log/{nodeId}/upload
    {
    "log_files": "elasticsearch.log,elasticsearch-2018-08-04.log",
    "settings": {
     "endpoint": "s3.bj.bcebos.com",
     "bucket": "es-log",
     "access_key": "xxxxxx",
     "secret_key": "xxxxxx"
    }
    }
    
    参数 作用 必须
    nodeId 一个或多个节点 ID,不传的话全部节点都需要发送指定的日志文件 no
    log_files 需要上传的日志名,多个日志以逗号隔开 yes
    endpoint BOS 服务域名(关于 BOS 在各个区域的服务域名见下) yes
    bucket 目标 bucket(要求用户提前创建好) yes
    access_key 百度智能云 ak yes
    secret_key 百度智能云 sk yes
    max_upload_bytes_per_sec 推送最大速率,默认"40mb" no
    max_retries 失败时尝试次数,默认 0 no
BOS 的各个区域 对应的服务域名 Endpoint
BJ s3.bj.bcebos.com
GZ s3.gz.bcebos.com
SU s3.su.bcebos.com
  • BOS bucket 的文件结构目录:

    |-- 'log-集群名字'
    |   `-- 'nodeId'
    |       `-- 20180808114514  --> 上传的开始时间
    |           |-- elasticsearch.log
    |           |-- elasticsearch-2018-08-04.log
    |   `-- 'nodeId'
    |       `-- 20180808114514
    |           |-- elasticsearch.log
    |           |-- elasticsearch-2018-08-04.log
    
  • 查看日志上传进度

    GET /_bpack/log/{nodeId}/upload
    
  • 取消日志上传

    Delete /_bpack/log/{nodeId}/upload