日志管理
更新时间:2020-07-16
功能及字段说明
日志管理功能
CDN为用户提供了完善的日志管理与下载功能,您可以根据实际情况查询、下载或自动存储CDN的日志文件并能及时获取实时异常日志。
- 下载日志到本地:将选择的日志下载到本地路径保存。
- 一键转储:设置了转储路径后,可选择一个或多个日志文件转储设定的BOS Bucket中,了解更多BOS可参考BOS产品描述和BOS操作指南。
- 自动转储:开启自动转储,设置了自动转储的域名和路径后,系统将自动将相关日志存储至设定的BOS路径,了解更多BOS可参考BOS产品描述和BOS操作指南。
日志字段说明
下载、一键存储或自动存储的日志格式都相同,包含的字段也相同,详细字段解释如下:
字段 | 含义 |
---|---|
client_ip | 客户端IP |
log_level | 是否为边缘日志 |
- | 保留字段 |
host | 访问域名 |
time_local | 时间字符串 |
request_time_ms | 请求处理时间,单位ms |
request | 请求的方法、路径、版本,例如"GET /path/of/url?args&a=1&b=2 HTTP/1.1" |
status | HTTP状态码 |
bytes_sent | 返回的字节长度 |
body_bytes_sent | 返回的body长度 |
referer | 请求Referer |
cookie | 客户端Cookie |
user_agent | 请求UA,即请求Header中的User-Agent部分 |
x_forwarded_for | 即请求Header中的X-Forward-For部分 |
connection_id | 请求的唯一id |
udf_hit | 命中状态,例如MISS/HIT |
server_ip | 服务端IP |
日志下载
- 登录控制台后,选择“日志管理”。
- 选择需要下载日志的域名。
- 选择需要查看和下载的日志时间段。选择时间段后,系统将展示该时间段内的日志,您可以选择一个或多个日志进行下载。百度智能云将保存180天的日志数据。
-
选择需要下载的日志,点击“下载”,将日志下载到本地。
设置一键转储
- 登录控制台后,选择“日志管理”。
- 选择需要下载日志的域名。
- 选择需要查看和下载的日志时间段。选择时间段后,系统将展示该时间段内的日志,您可以选择一个或多个日志进行下载。百度智能云将保存180天的日志数据。
- 全选或者需要需要下载的日志,点击“一键转储”。
-
选择转储路径。
说明: 您可以选择已有的Bucket进行转储,也可以新建Bucket用于转储日志。
- 完成路径选择后,点击“确认”,日志将被转储至BOS Bucket中。
- 转储请求提交成功后,可由“转储记录”查看相应状态和进度。
设置自动转储
CDN提供了自动转储功能,只需在控制台进行设置即可完成对日志的情况管理和存储。日志自动转储功能默认情况下关闭。日志自动转储功能开启后,用户可选择转储路径和需要自动转储日志的域名。
设置日志自动转储具有以下优势特点,您可以根据实际情况进行设置:
- 日志永久存储不删除。
- BOS提供了丰富的操作工具,方便对日志进行管理下载。
- 可以利用BMR进行数据分析。
- 登录控制台后,选择“日志管理”。
-
点击“设置日志自动转储”,选择相应的域名和转储路径。
- 将日志自动转储按钮调整为“ON”。
- 可以将一个或多个域名设置为日志自动转储。
- 可以选择已有的Bucket或新建Bucket用于自动转储CDN日志文件。
- 点击“确认”即可完成设置。完成了域名的自动转储设定后,系统将自动将域名的日志文件转储至设定的BOS Bucket中。
自定义日志格式
根据对日志字段和顺序的不同需求,您可以自定义日志格式。
-
在“日志管理”页面,点击“自定义日志格式”选项;
-
输入“日志名称”,并选择好“适用对象”和“分隔符号”;
注意:一个域名只能有一个格式,如有重复设置,域名优先级大于标签,其余按照创建时间最新的为准。
- 选择“分隔符”;
-
选择字段,可拖动选择,或“全选”;点击X删除,或选择“全部删除”;
- 选择“确定”保存设置。
自定义日志格式可选字段解释如下(默认字段解释见“日志字段说明”):
字段 | 含义 |
---|---|
remote_addr | 客户端IP:客户端port |
remote_ip | 客户端IP |
remote_port | 客户端port |
sent_http_content_length | Content-Length |
http_content_length | 客户端发送的content-length |
sent_http_content_type | 响应的body类型,例如"image/jpeg" |
sent_http_content_range | 响应的range头,例如"bytes 0-800/801" |
http_range | 请求Range,例如"bytes=0-795427" |
request_time | 请求处理时间,单位s |
ssl_protocol | ssl协议,例如"TLSv1.2" |
ssl_cipher | ssl密钥套件,例如"ECDHE-RSA-AES128-GCM-SHA256" |
server_protocol | 请求协议,"HTTP/1.0", "HTTP/1.1", or "HTTP/2.0" |
http_accept | 发送端(客户端)希望接受的数据类型 |
scheme | http/https |
req_len | 接收的客户端请求字节数 |
url | 请求URL eg:http://host/path?args |
request_method | 请求方式,例如 GET or POST |
uri | 请求URI eg: /path?args |
http_ver | eg: HTTP/1.1 |
http_referer | 请求Header中的Referer |
http_cookie | 请求Header中的Cookie |
http_user_agent | 请求Header中的User-Agent |
http_x_forwarded_for | 请求Header中的X-Forward-For |
connection | 连接序列号,单机自增 |
udf_hit | 是否命中,命中:HIT 没有命中:MISS |
jvip | 节点vip |
动态加速日志
用户开启动态加速服务后,可以在日志管理中查看一段时间内产生的动态加速日志。
- 在左侧导航栏点击“日志管理”,选择“动态加速日志”。
- 选择要查询的动态加速域名和时间段,最大支持查询180天内的日志。
- 点击【查询动态加速】,即可在下方查看日志列表。
- 点击对应日志后的【下载】可以下载该条日志。
实时日志推送
功能概述
在借助 CDN 访问图片、文字或视频资源时,CDN 会产生大量的日志数据,并对这些日志数据进行实时采集。用户可以将 CDN 加速域名产生的实时日志投递到日志服务进行实时日志分析,通过实时日志分析,您可以快速发现和定位业务中存在的问题。
创建实时日志推送
- 在左侧导航栏点击“日志管理”,选择“实时日志推送”,点击【开通实时日志推送】。
- 进入“实时日志推送”页面,点击【创建实时日志推送服务】。
- 根据页面提示,配置相关日志服务信息。
参数 | 说明 |
---|---|
服务名称 | 在CDN上创建的日志服务的Project名称。 |
地域 | 收集实时日志的区域 |
Logstore名称 | Logstore是创建在项目(Project)下的资源集合,Logstore中的所有数据都来自于同一个数据源。收集到的日志数据的查询、分析、投递均以Logstore为单位,不填写,则CDN将默认生成Logstore名称。 |
日志服务授权 | 开通实时日志推送需要先授权CDN访问百度智能云日志服务 |
- 点击【下一步】,选择关联域名,点击【创建】,完成推送服务创建。