工具概述

Logstash是一个开源的数据收集、处理、分析工具，可以从众多来源捕捉事件，流式传输到所需的存储库中，本文将描述Logstash如何把数据存储到BOS bucket。

配置教程

1. 官网下载安装Logstash安装包，选择对应操作系统的最新版本即可；下载后解压安装包并创建配置文件。

   wget https://artifacts.elastic.co/downloads/logstash/logstash-8.15.0-linux-x86_64.tar.gz
   tar zxvf logstash-oss-8.15.0-darwin-aarch64.tar.gz
   cd logstash-8.15.0
   touch file2bos.conf

2. 修改配置文件file2bos.conf，以本地文件为输入源，BOS为输出源，详细配置参考Plugin

   input {
      file {
        path => "/tmp/access.log"
        start_position => "beginning"
      }
   }
   output {
      s3 {
        endpoint => "bos endpoint"     # 例如https://s3.bj.bcebos.com
        access_key_id => "bos ak"
        secret_access_key => "bos sk"
        bucket => "bos-bkt"        # 必填项
        size_file => 1024
        time_file => 1
        prefix => "logstash/"
      }
   }

3. 参数说明

   参数名称	参数含义
   path	输入源文件所在绝对路径
   start_position	决定了从文件的何处开始读取数据，beginning表示从文件的开头开始读取数据
   endpoint	BOS Endpoint，参考文档
   access_key_id	BOS Access Key ID，参考如何获取AKSK
   secret_access_key	BOS Secret Access Key
   bucket	BOS桶名称
   size_file	设置文件大小，当字节数超过 size_file 值时，将创建一个新的文件。
   time_file	设置文件滚动周期（单位为分钟）。当数据写入时间超过周期时，会生成一个新的文件。
   prefix	指定文件存储的目录，例如“logstash/”，文件会写入到bucket的logstash/目录下

4. 运行程序：bin/logstash -f file2bos.conf
5. 结果验证：可以看到BOS bucket中指定目录下存在新写入的object，名字格式：ls.s3.ffe6de57-539a-4953-adb1-2807d604d1ec.2023-08-23T14.19.part0.txt