百度日志服务BLS

    收集器安装

    收集器是百度日志服务提供的、安装于主机中的服务组件,安装之后收集器会监听相应的文件,收集日志文件内容并投递至目的地址中。目前收集器支持64位的Linux和Windows系统,如您的安装过程出现问题,请提工单

    安装步骤

    1. 登录百度智能云控制台,导航栏选择“产品服务>数据分析>百度日志服务 BLS”进入百度日志服务页面。
    2. 首次使用百度日志服务BLS需开通服务,请点击“开通服务”按钮。
    3. 点击左侧导航栏“收集器”,子菜单选择“收集器安装”,进入收集器安装页面。
    4. 系统自动创建了认证Token,同时也生成了与此Token和操作系统绑定的安装命令,使用安装命令可在您的主机中安装百度日志服务的收集器。BLS支持在CentOS、Ubuntu、Debian系统中安装和部署,请选择您的操作系统,并点击“复制”按钮,安装命令便复制到您的剪贴板中。

    image.png

    说明: 如未显示安装命令的“复制”按钮,请参考常见问题之为什么浏览器中不显示安装命令的“复制”按钮?

    随后将安装命令粘贴在Linux shell或Windows powershell中执行即可。

    安装命令样例与解释。

    Linux环境:

    1. 命令样例
    bash -c "$(wget -qO - http://logbeat-repo-bj.bj.bcebos.com/install-logbeat.sh)" '' -o <token值> -s <OS版本> -p /opt -u root

    该命令中,<token值>表示 用户在的BLS服务器端的唯一认证标识,无需用户修改;<OS版本>为所安装的系统版本,如centos/ubuntu/debian等;最后为收集器安装目录和本地运行用户,您可以自定义指定此安装目录和本地运行用户。

    注意: 最后一个参数是指定本地运行收集器的用户,与执行安装命令的用户不一定是一个用户。区别是,一个是用哪个用户安装收集器,如root等;一个是以哪个用户启动收集器,如work等。

    说明: 同一台机器上支持安装多个收集器,只要指定不同安装目录即可,不同收集器间相互独立运行,但按产品逻辑来讲同一个token应该只安装一个收集器。此处允许单机安装多个收集器,主要是为不同用户准备的。

    1. 登录您的主机,您可在root权限下执行安装命令。此时,如果本地运行账户不存在,安装脚本会创建本地运行账户,并以它启动收集器。并且在root权限下执行安装命令,脚本会为系统添加服务命令:service logbeatd [start/stop/status/restart]和开机自启动服务。服务命令可用来启停和查看进程。
    2. 您也可以使用非root用户安装收集器,需要注意的是与用root用户安装的差别就是安装脚本不会添加服务命令与开机自启服务。此时启停logbeat,可通过logbeat安装目录中bin目录下的start.sh和stop.sh脚本的进行,需要在运行进程的用户下执行脚本。

      注意: 以您指定的本地账户启动收集器后,对于待采集的文件,需要有该账户的读取权限,各级目录路径需要有该账户的读取和执行权限。

    3. 请根据提示信息来了解收集器安装成功。

    Windows环境:

    1. 命令样例
    powershell -c "(New-Object System.Net.WebClient).DownloadFile('https://logbeat-repo-preonline-gz.gz.bcebos.com/install-logbeat.bat', 'install-logbeat.bat')" ; start -FilePath install-logbeat.bat "<token>"

    该命令中,<token值>表示 用户在的BLS服务器端的唯一认证标识,无需用户修改。同时收集器安装目录为C:\Program Files\Baidu\Logbeat,必须使用administrator用户安装。

    1. 安装后,已经在系统中注册了logbeat的服务,名称为:"Baidu Logebat Service".
    2. 在安装目录下,已有start.bat/stop.bat/status.bat/install.bat/uninstall.bat等脚本,可用来启停、查看和注册与卸载服务使用。
    3. 请根据提示信息来了解收集器安装成功。
    4. 此外,Windows支持以zip包形式,自定义安装,请参考Windows系统zip安装方法

    如何在安装收集器时同时部署任务

    如果您希望把日志服务提供的收集器打包在镜像文件中,便于快速部署同样配置的服务器,请预先创建传输任务,并在安装时添加任务参数,具体说明如下:

    1. 在“收集器安装”页面选择对应的操作系统并复制安装命令
    2. 在传输任务列表页中查找、选择您想要预置的传输任务,记录这些传输任务任务ID
    3. 在安装命令最后附加这些任务ID作为任务参数,格式如下

    Linux环境

    bash -c "$(wget -qO - http://logbeat-repo-bj.bj.bcebos.com/install-logbeat.sh)" '' -o <token值> -s <OS版本> -p /opt -u root -t [task1ID,task2ID,task3ID...]

    说明:

    a) 任务ID列表的参数引导符为 -t
    b) 多个任务间以英文“,”连接,并且不能有空格
    c) 任务列表必须以英文"[]"包裹
    d) 仅支持您账户下创建的传输任务ID,您无法添加其他人创建的传输任务
    e) 传输任务ID错误不影响收集器正常运行

    示例如下:

    在Ubuntu主机中安装收集器并部署两个传输任务

    bash -c "$(wget -qO - http://logbeat-repo-bj.bj.bcebos.com/install-logbeat.sh)" '' -o cdda****5880 -s ubuntu -p /opt -u root -t [3482****4b6a,b5b6****2c93]

    Windows环境

    powershell -c "(New-Object System.Net.WebClient).DownloadFile('https://logbeat-repo-preonline-gz.gz.bcebos.com/install-logbeat.bat', 'install-logbeat.bat')" ; start -FilePath install-logbeat.bat "<token> [task1ID_task2ID_task3ID...]"

    说明:

    a) 任务ID列表跟在token参数之后,在同一个引号之内
    b) 多个任务间以英文“_”连接,并且不能有空格
    c) 任务列表必须以英文"[]"包裹
    d) 仅支持您账户下创建的传输任务ID,您无法添加其他人创建的传输任务
    e) 传输任务ID错误不影响收集器正常运行

    更新收集器

    Linux环境

    可通过脚本进行更新,更新方法为执行收集器根目录中,bin/update.sh脚本,该脚本可以附带一个参数[version],如:

    sh bin/update.sh [latest/1.1.1]

    不填则默认为latest,表示更新为最新的收集器。

    卸载收集器

    Linux环境

    第一步:停止收集器进程:service logbeatd stop;或者执行/opt/logbeat/bin/stop.sh;

    第二步:删除收集器目录:rm -rf /opt/logbeat

    Windows环境

    第一步:停止收集器进程:stop.bat;

    第二步:删除收集器目录:rm C:\Program Files\Baidu\Logbeat

    Windows系统zip安装方法

    1. 下载zip包
    2. 解压zip包到自定义目录
    3. 修改配置文件 logbeat.yml
    management:
      enabled: true
      token:
      bls_server_address:
      tasks:

    token 处填入console中收集器安装那里的token;

    image.png

    bls_server_address 处填入相应region的endpoint,个region endpoint如下:

    region endpoint
    北京 https://bls.bj.baidubce.com:8185
    广州 https://bls.gz.baidubce.com:8185
    苏州 https://bls.su.baidubce.com:8185
    保定 https://bls.bd.baidubce.com:8185
    武汉 https://bls.fwh.baidubce.com:8185
    香港 https://bls.hkg.baidubce.com:8185
    1. 注册服务

      logbeat.exe -service-install

    2. 启动服务

      logbeat.exe -service-start

    上一篇
    百度智能云环境准备
    下一篇
    收集器管理