离线日志下载及转储
更新时间:2023-11-06
概述
CDN提供了完善的离线日志管理与下载功能,您可以根据实际情况查询、下载或自动存储CDN的日志文件。
- 下载日志到本地:将选择的日志下载到本地路径保存。
- 一键转储:设置了转储路径后,可选择一个或多个日志文件转储到指定的BOS Bucket中,了解更多BOS可参考 BOS产品描述 和 BOS操作指南。
- 自动转储:开启自动转储,设置了自动转储的域名和路径后,系统将自动将相关日志存储至设定的BOS路径,了解更多BOS可参考 BOS产品描述 和 BOS操作指南。。
日志字段说明
下载、一键存储或自动存储的日志格式都相同,包含的字段也相同,详细字段解释如下:
字段 | 含义 |
---|---|
client_ip | 客户端IP |
log_level | 是否为边缘日志 |
- | 保留字段 |
host | 访问域名 |
time_local | 时间字符串 |
request_time_ms | 请求处理时间,单位ms |
request | 请求的方法、路径、版本,例如"GET /path/of/url?args&a=1&b=2 HTTP/1.1" |
status | HTTP状态码 |
bytes_sent | 返回的字节长度 |
body_bytes_sent | 返回的body长度 |
referer | 请求Referer |
cookie | 客户端Cookie |
user_agent | 请求UA,即请求Header中的User-Agent部分 |
x_forwarded_for | 即请求Header中的X-Forward-For部分 |
connection | 请求的唯一id |
udf_hit | 命中状态,例如MISS/HIT |
server_ip | 服务端IP |
日志下载
-
登录 CDN管理控制台,选择 日志管理。
- 选择需要下载日志的域名,可以选择单个或多个域名。
- 选择需要查看和下载的日志时间段。选择时间段后,系统将展示该时间段内的日志。百度智能云将保存180天的日志数据。
-
选择需要下载的日志,点击 下载,将日志下载到本地。
设置一键转储
- 登录 CDN管理控制台,选择 日志管理。
- 选择需要下载日志的域名,可以选择单个或多个域名。
- 选择需要查看和下载的日志时间段。选择时间段后,系统将展示该时间段内的日志。百度智能云将保存180天的日志数据。
- 全选或者选择需要下载的日志,点击 一键转储。
- 选择转储路径。
说明: 您可以选择已有的Bucket进行转储,也可以新建Bucket用于转储日志。
- 完成路径选择后,点击 确认,日志将被转储至BOS Bucket中。
-
转储请求提交成功后,可由 转储记录 查看相应状态和进度,如下图所示。
设置自动转储
CDN提供了自动转储功能,只需在控制台进行设置即可完成对日志的情况管理和存储。日志自动转储功能默认情况下关闭。日志自动转储功能开启后,您可选择转储路径和需要自动转储日志的域名。
设置日志自动转储具有以下优势特点,您可以根据实际情况进行设置:
- 日志永久存储不删除。
- BOS提供了丰富的操作工具,方便对日志进行管理下载。
- 可以利用BMR进行数据分析。
操作步骤
- 登录 CDN管理控制台,选择 日志管理。
-
点击 设置日志自动转储 ,选择相应的域名和转储路径。
- 将日志自动转储按钮调整为“开”。
- 可以将一个或多个域名设置为日志自动转储。
- 可以选择已有的Bucket或新建Bucket用于自动转储CDN日志文件。
- 点击 确认 即可完成设置。完成了域名的自动转储设定后,系统将自动将域名的日志文件转储至设定的BOS Bucket中。
自定义日志格式
根据对日志字段和顺序的不同需求,您可以自定义日志格式。
- 登录 CDN管理控制台,选择 日志管理。
-
在 日志管理 页面,点击 自定义日志格式 选项。
- 在 自定义格式页,设置日志的自定义格式,如下图所示
注意:一个域名只能有一个格式,如有重复设置,域名优先级大于标签,其余按照创建时间最新的为准。
配置 | 说明 |
---|---|
日志名称 | 您可自定义设置日志的名称,便于您对日志的查看及管理。 |
适用对象 | 您可通过域名或标签选择本日志格式适用的对象。 • 域名:您可以通过域名选择适用对象,并支持选择单个或多个域名。 • 标签:您可以通过标签选择适用对象,并支持选择多个或单个标签下的所有域名。 |
分隔符号 | 您可以设置生成的日志中字段的分隔符号,您可以选择 “空格“、“;”、“/”、“~”、“@@”、“\t”6种不同的分隔符号。 |
字段 | 字段分为待选字段和已选字段。 • 待选字段:待选字段为您尚未选择的字段。您可以选择单个或多个字段,并点击 添加到已选字段中。 • 已选字段:已选字段为您当前已选择的字段。 您可以点击字段后的 删除单个字段,或点击 全部删除 删除所有的已选字段。 您可以点击字段后的 为字段添加引号。 |
- 点击 确定 保存设置。
自定义日志格式可选字段解释如下(默认字段解释见 日志字段说明):
字段 | 含义 |
---|---|
remote_addr | 客户端IP:客户端port |
remote_ip | 客户端IP |
remote_port | 客户端port |
sent_http_content_length | Content-Length |
http_content_length | 客户端发送的content-length |
sent_http_content_type | 响应的body类型,例如"image/jpeg" |
sent_http_content_range | 响应的range头,例如"bytes 0-800/801" |
http_range | 请求Range,例如"bytes=0-795427" |
request_time | 请求处理时间,单位s |
ssl_protocol | ssl协议,例如"TLSv1.2" |
ssl_cipher | ssl密钥套件,例如"ECDHE-RSA-AES128-GCM-SHA256" |
server_protocol | 请求协议,"HTTP/1.0", "HTTP/1.1", or "HTTP/2.0" |
http_accept | 发送端(客户端)希望接受的数据类型 |
scheme | http/https |
req_len | 接收的客户端请求字节数 |
url | 请求URL eg:http://host/path?args |
request_method | 请求方式,例如 GET or POST |
uri | 请求URI eg: /path?args |
http_ver | eg: HTTP/1.1 |
http_referer | 请求Header中的Referer |
http_cookie | 请求Header中的Cookie |
http_user_agent | 请求Header中的User-Agent |
http_x_forwarded_for | 请求Header中的X-Forward-For |
connection | 连接序列号,单机自增 |
udf_hit | 是否命中,命中:HIT 没有命中:MISS |
jvip | 节点vip |