内容分发网络CDN

    日志管理

    功能及字段说明

    日志管理功能

    CDN为用户提供了完善的日志管理与下载功能,您可以根据实际情况查询、下载或自动存储CDN的日志文件并能及时获取实时异常日志。

    日志字段说明

    下载、一键存储或自动存储的日志格式都相同,包含的字段也相同,详细字段解释如下:

    字段 含义
    client_ip 客户端IP
    log_level 是否为边缘日志
    - 保留字段
    host 访问域名
    time_local 时间字符串
    request_time_ms 请求处理时间,单位ms
    request 请求的方法、路径、版本,例如"GET /path/of/url?args&a=1&b=2 HTTP/1.1"
    status HTTP状态码
    bytes_sent 返回的字节长度
    body_bytes_sent 返回的body长度
    referer 请求Referer
    cookie 客户端Cookie
    user_agent 请求UA,即请求Header中的User-Agent部分
    x_forwarded_for 即请求Header中的X-Forward-For部分
    connection_id 请求的唯一id
    udf_hit 命中状态,例如MISS/HIT
    server_ip 服务端IP

    日志下载

    1. 登录控制台后,选择“日志管理”。
    2. 选择需要下载日志的域名。
    3. 选择需要查看和下载的日志时间段。选择时间段后,系统将展示该时间段内的日志,您可以选择一个或多个日志进行下载。百度智能云将保存180天的日志数据。
    4. 选择需要下载的日志,点击“下载”,将日志下载到本地。

    设置一键转储

    1. 登录控制台后,选择“日志管理”。
    2. 选择需要下载日志的域名。
    3. 选择需要查看和下载的日志时间段。选择时间段后,系统将展示该时间段内的日志,您可以选择一个或多个日志进行下载。百度智能云将保存180天的日志数据。
    4. 全选或者需要需要下载的日志,点击“一键转储”。
    5. 选择转储路径。

      说明: 您可以选择已有的Bucket进行转储,也可以新建Bucket用于转储日志。

    6. 完成路径选择后,点击“确认”,日志将被转储至BOS Bucket中。
    7. 转储请求提交成功后,可由“转储记录”查看相应状态和进度。

    设置自动转储

    CDN提供了自动转储功能,只需在控制台进行设置即可完成对日志的情况管理和存储。日志自动转储功能默认情况下关闭。日志自动转储功能开启后,用户可选择转储路径和需要自动转储日志的域名。

    设置日志自动转储具有以下优势特点,您可以根据实际情况进行设置:

    • 日志永久存储不删除。
    • BOS提供了丰富的操作工具,方便对日志进行管理下载。
    • 可以利用BMR进行数据分析。
    1. 登录控制台后,选择“日志管理”。
    2. 点击“设置日志自动转储”,选择相应的域名和转储路径。

      • 将日志自动转储按钮调整为“ON”。
      • 可以将一个或多个域名设置为日志自动转储。
      • 可以选择已有的Bucket或新建Bucket用于自动转储CDN日志文件。
    3. 点击“确认”即可完成设置。完成了域名的自动转储设定后,系统将自动将域名的日志文件转储至设定的BOS Bucket中。

    自定义日志格式

    根据对日志字段和顺序的不同需求,您可以自定义日志格式。

    1. 在“日志管理”页面,点击“自定义日志格式”选项;

    2. 输入“日志名称”,并选择好“适用对象”和“分隔符号”;

      注意:一个域名只能有一个格式,如有重复设置,域名优先级大于标签,其余按照创建时间最新的为准。

    3. 选择“分隔符”;
    4. 选择字段,可拖动选择,或“全选”;点击X删除,或选择“全部删除”;

    5. 选择“确定”保存设置。

    自定义日志格式可选字段解释如下(默认字段解释见“日志字段说明”):

    字段 含义
    remote_addr 客户端IP:客户端port
    remote_ip 客户端IP
    remote_port 客户端port
    sent_http_content_length Content-Length
    http_content_length 客户端发送的content-length
    sent_http_content_type 响应的body类型,例如"image/jpeg"
    sent_http_content_range 响应的range头,例如"bytes 0-800/801"
    http_range 请求Range,例如"bytes=0-795427"
    request_time 请求处理时间,单位s
    ssl_protocol ssl协议,例如"TLSv1.2"
    ssl_cipher ssl密钥套件,例如"ECDHE-RSA-AES128-GCM-SHA256"
    server_protocol 请求协议,"HTTP/1.0", "HTTP/1.1", or "HTTP/2.0"
    http_accept 发送端(客户端)希望接受的数据类型
    scheme http/https
    req_len 接收的客户端请求字节数
    url 请求URL eg:http://host/path?args
    request_method 请求方式,例如 GET or POST
    uri 请求URI eg: /path?args
    http_ver eg: HTTP/1.1
    http_referer 请求Header中的Referer
    http_cookie 请求Header中的Cookie
    http_user_agent 请求Header中的User-Agent
    http_x_forwarded_for 请求Header中的X-Forward-For
    connection 连接序列号,单机自增
    udf_hit 是否命中,命中:HIT 没有命中:MISS
    jvip 节点vip

    动态加速日志

    用户开启动态加速服务后,可以在日志管理中查看一段时间内产生的动态加速日志。

    1. 在左侧导航栏点击“日志管理”,选择“动态加速日志”。
    2. 选择要查询的动态加速域名和时间段,最大支持查询180天内的日志。
    3. 点击【查询动态加速】,即可在下方查看日志列表。

    image.png

    1. 点击对应日志后的【下载】可以下载该条日志。

    实时日志推送

    功能概述

    在借助 CDN 访问图片、文字或视频资源时,CDN 会产生大量的日志数据,并对这些日志数据进行实时采集。用户可以将 CDN 加速域名产生的实时日志投递到日志服务进行实时日志分析,通过实时日志分析,您可以快速发现和定位业务中存在的问题。

    创建实时日志推送

    1. 在左侧导航栏点击“日志管理”,选择“实时日志推送”,点击【开通实时日志推送】。

    image.png

    1. 进入“实时日志推送”页面,点击【创建实时日志推送服务】。
    2. 根据页面提示,配置相关日志服务信息。

    image.png

    参数 说明
    服务名称 在CDN上创建的日志服务的Project名称。
    地域 收集实时日志的区域
    Logstore名称 Logstore是创建在项目(Project)下的资源集合,Logstore中的所有数据都来自于同一个数据源。收集到的日志数据的查询、分析、投递均以Logstore为单位,不填写,则CDN将默认生成Logstore名称。
    日志服务授权 开通实时日志推送需要先授权CDN访问百度智能云日志服务
    1. 点击【下一步】,选择关联域名,点击【创建】,完成推送服务创建。