访问日志 BLB支持7层访问日志收集,开启访问日志服务后,我们会将您的原始访问日志推送至您选择的bucket,计费参照 BOS计费规则 ,BOS存储可以保证您的日志永久性存储并方便您进行日志的管理、下载与分析。 在配置访问日志前,您需要确保: 已经创建了七层负载均衡; 已经开通了BOS服务。
Index Index (日志集索引)是在日志集基础上配置的索引存储。通过索引,用户可以对日志内容进行检索、并提升查询中查找数据的效率。 LogShipper LogShipper(日志投递)是将日志集中的日志投递到其他云产品的功能,方便用户对数据进行压缩和转储等操作。
传输任务:传输任务是日志服务的执行和管理单元,通过传输任务可配置和管理日志源、投递地址、收集规则等。 操作流程 日志格式 日志服务当前支持UTF-8编码的文本格式日志。 本文的示例日志信息 某服务器的日志文件存储在/home/work/nginx_logs目录下。 每天的日志单独写入一个文件,正在写入的文件以“.log”命名,写完的日志文件增加时间戳后缀“.yyyy-mm-dd”。
注意 : /var/log/history 是记录日志的存放位置,可以自定义。 通过上述步骤,可以在 /var/log/history 目录下以每个用户为名新建一个文件夹,每次用户退出后都会产生以用户名、登录IP、时间的日志文件,包含此用户本次的所有操作(root用户除外)。 同时,建议您使用BOS服务收集存储日志。
日志分析和报警 创建好日志集和对应的传输任务后,便可使用日志查询能力进行日志的查询和统计,使用日志报警能力配置日志报警,仪表盘配置可视化大盘。 日志查询分析 登录 百度智能云官网 ,点击右上角的“管理控制台”,快速进入控制台界面。 选择“产品服务>日志服务BLS”,进入“查询分析->日志查询”页面。
索引流量费用 = 索引流量 × 每 GB 单价 0.32元/GB 500M 日志存储空间 根据用户压缩后的日志数据量进行计费 例如原始日志数据量为10GB,压缩后的写流量为2.5GB,则对应的日志存储量为2.5GB 日志存储(压缩后)× 每GB单价× 存储时长 0.0115元/GB/日 500M 索引存储空间 按照日志(未压缩)被构建索引所占用的存储空间计费 索引存储× 每GB单价× 存储时长 0.011
使用限制 日志服务BLS产品存在如下使用限制,如有调整需求,可提工单申请 分类 限制项 限制说明 基础资源 日志组数量 每个accoutID下最多可创建100个日志组,如需更多,提工单申请 基础资源 日志集数量 每个accoutID下最多可创建200个日志集,如需更多,提工单申请 日志存储周期 每个日志集存储周期可为1 - 3600天,或永久保存 日志记录大小 单条日志数据的大小最大是512KB 批处理大小
产品介绍 概述 日志服务(Baidu Log Service)是一站式实时日志分析服务。提供日志数据采集传输、检索分析、实时消费与转储、实时报警和可视化分析等功能。支持基于不同的应用场景将日志投递到百度智能云对象存储BOS、百度Kafka、百度Elasticsearch和日志服务自身的日志集等多种存储、计算系统,用于大数据处理、分析。
存储格式配置 日志集投递到BOS后,支持存储为不同的存储格式,包括JSON格式、Parquet格式、CSV格式,不同存储格式配置如下: JSON格式:数据将按照JSON格式投递至BOS中,无需额外配置 Parquet格式: 键值名称:该键值作为Parquet的数据列名。 键值类型:支持int32、int64、float、double、boolean、string类型。
Println ( Create logStore success. ) } 提示: 详细的参数配置及限制条件,可以参考BLS API 文档 CreateLogStore 更新指定LogStore 通过以下代码,更新指定的日志集,目前仅支持更改与日志集关联的存储期限 updateLogStoreRequest := UpdateLogStoreRequest { Project : default