概述

您可以通过在容器引擎CCE控制台创建日志采集规则，通过指定集群中需要采集日志的容器实现对业务日志的采集、存储和查询分析。

使用限制

目前仅支持将采集的日志推送至日志集、BES，暂不支持直接推送至BOS、Kafka；日志源支持采集主机和容器日志，容器日志类型支持标准输出日志、容器内部日志。

前提条件

• 已成功创建CCE集群。
• 已开通日志服务产品，您可以登录日志服务控制台确认是否开通。
• 已安装 Log Operator 组件，详情请参见组件安装。

说明

若未安装组件，日志中心页面会提示您安装该组件。请根据界面提示完成 Log Operator 组件的安装。

操作步骤

安装日志采集组件

1. 登录容器引擎控制台。
2. 在左侧导航栏，选择集群列表。
3. 在“集群列表”页面单击目标集群，进入集群管理页面。
4. 在集群管理页面选择 【运维与管理】->【组件管理】。
5. 进入 【组件管理】 页面并确认组件列表已加载。
6. 在 【组件管理】 页面的 【监控和日志】 分类下定位 CCE Log Operator 组件。
7. 若组件显示 【安装】，单击 【安装】 完成安装。
8. 若组件显示 【升级】 或 【卸载】，表示该组件已安装，可按需执行升级或卸载。

创建采集规则

1. 在集群管理页面左侧导航栏中选择 运维与管理 > 日志中心。
2. 在日志中心管理页面的“采集规则”页签下，单击“创建采集规则”。

在 【创建采集规则】 页面完成参数配置并校验：

• 采集规则名称：填写自定义规则名称。
• 命名空间：选择目标命名空间。
• 日志投递目的：按业务需求选择日志集或 BES。
• 源端类型：按业务需求选择容器或主机。
• 日志类型：当源端类型为容器时，选择标准输出日志或容器内部日志。
• 其余参数按业务需求保持默认值或按需补充。

4. 单击确认按钮，完成配置。

采集规则参数说明

参数（配置项）	必填
采集规则名称	自定义，支持大小写字母、数字、中文以及“-_ /.”，不能包含空格，长度1-54。 注意：编辑采集规则不支持修改采集规则名称配置。
命名空间	必选。日志配置所在 namespace，默认是default。 注意：编辑采集规则不支持修改命名空间配置。
标签	可选，K8s标签（Label）是管理和选择K8S对象的标识，每个Label包含键和值两部分，K8s 标签说明。
日志投递目的	在“目的端设置”，设置日志数据投递目的端。支持提供日志集、BES两种目的端。 日志集目的端：需要配置日志集和传输速率。 日志集：需要选择已创建日志集。关于日志集功能，请参考日志集。 传输速率:默认10MB/s，支持速率范围为 [1-100] MB/s。 BES目的端：可投递实时日志。需要配置以下参数： 选择ES集群：选择当前用在当前region已创建的BES集群，如果没有，可选择新建BES集群。 用户名：填写所选BES集群的登录用户名。 密码：填写所选BES集群的登录密码。 测试连通性：测试并验证是否能够连接上所选的BES集群，如不能连通，传输任务无法正常运行。 index前缀：index前缀通过用户自定义，index Rolling开启状态下，BES集群中的index名称由“index前缀+采集日期”组成，关闭状态下，index名称由index前缀组成。采集日期是指数据写入BES时的日期，日期格式为：YYYY-MM-DD。 index Rolling：设定BES集群自动生成新index的频率，默认处于关闭状态；开启后，按照设定频率生成新index，采集的日志数据写入到新index。
源端类型	添加源端设置，支持“主机”，“容器”两种类型的源端。 容器：当源端类型为”容器“时，支持采集标准输出与容器内日志。 主机：当源端类型为“主机”时，有以下特殊配置项： 源日志目录：输入采集日志的源目录。目录支持golang Glob模式匹配，详见目录规则。 匹配文件规则：输入正则表达式，匹配上正则表达式的文件将会被监控和收集。常见正则表达式语法。 排除文件规则：输入正则表达式，匹配正则表达式的文件将不会被监控和收集，可排除正在写入的日志文件，避免导致传输出现异常，具体规则填写示例见上面匹配文件规则。 目录递归：默认关闭，开启后，最多可传输指定目录(包含所有层次的子目录)下5个符合匹配文件规则的活跃文件。 开启目录递归会增加CPU占用。
日志类型	源端类型为容器的时候，需要选择日志类型，支持采集标准输出与容器内日志。 日志类型为容器内部日志有以下特殊配置项： 源日志目录：输入采集日志的源目录。目录支持golang Glob模式匹配，详见目录规则。 匹配文件规则：输入正则表达式，匹配上正则表达式的文件将会被监控和收集。常见正则表达式语法。 排除文件规则：输入正则表达式，匹配正则表达式的文件将不会被监控和收集，可排除正在写入的日志文件，避免导致传输出现异常，具体规则填写示例见上面匹配文件规则。 目录递归：默认关闭，开启后，最多可传输指定目录(包含所有层次的子目录)下5个符合匹配文件规则的活跃文件。 开启目录递归会增加CPU占用。
采集元数据	支持自定义Label，自定义环境变量采集。 注意：Log Operator组件在2.4.5及以后版本支持自定义Label配置；Log Operator 组件2.4.5之前版本默认采集固定元数据且不支持自定义Label，如需使用自定义Label配置，请前往组件管理升级Log Operator 对应版本。
Container Label白名单	采集Label包含白名单的容器日志，不设置表示不使用Container Label白名单过滤。如果要设置Label白名单，点击添加白名单，依次输入LabelKey、LabelValue内容，其中LabelKey、Labelvalue必填，LabelValue支持输入正则表达式来匹配所有需要采集的目标容器。 注意： Label白名单中多个键值对之间逻辑关系为【且】。 Label白名单、Label黑名单内Labelkey值不能重复，LabelVaule值不能为空。
Container Label黑名单	采集Label不包含黑名单的容器日志，不设置表示不使用Container Label黑名单过滤。如果要设置Label黑名单，点击添加黑名单，依次输入LabelKey、LabelValue内容，其中LabelKey、Labelvalue必填，LabelValue支持输入正则表达式来匹配所有需要排除的目标容器。 注意： Label黑名单中多个键值对之间逻辑关系为【或】。
Pod Label白名单	采集Label包含白名单的容器日志，不设置表示不使用Pod Label白名单过滤。如果要设置Label白名单，点击添加白名单，依次输入LabelKey、LabelValue内容，其中LabelKey、Labelvalue必填，LabelValue支持输入正则表达式来匹配所有需要采集的目标容器。 注意： Pod label白名单仅支持Log Operator 2.4.11及以后版本，如需使用，请前往组件管理升级Log Operator 对应版本。 Label白名单中多个键值对之间逻辑关系为【且】。 Label白名单、Label黑名单内Labelkey值不能重复，LabelVaule值不能为空。
Pod Label黑名单	采集Label不包含黑名单的容器日志，不设置表示不使用Pod Label黑名单过滤。如果要设置Label黑名单，点击添加黑名单，依次输入LabelKey、LabelValue内容，其中LabelKey、Labelvalue必填，LabelValue支持输入正则表达式来匹配所有需要排除的目标容器。 注意： Pod label黑名单仅支持Log Operator 2.4.11及以后版本，如需使用，请前往组件管理升级Log Operator 对应版本。 Label黑名单中多个键值对之间逻辑关系为【或】。
环境变量白名单	采集环境变量包含白名单的容器日志，不设置表示不使用环境变量白名单过滤。如果要设置环境变量白名单，点击添加白名单，依次输入EnvKey、EnvValue内容，其中EnvKey、EnvValue必填，EnvValue支持输入正则表达式来匹配所有需要采集的目标容器。 注意： 环境变量白名单中多个键值对之间逻辑关系为【且】。 环境变量白名单、环境变量黑名单内Envkey值不能重复，EnvVaule值不能为空。
环境变量黑名单	采集环境变量不包含黑名单的容器日志，不设置表示不使用环境变量黑名单过滤。如果要设置环境变量黑名单，点击添加黑名单，依次输入EnvKey、EnvValue内容，其中EnvKey、EnvValue必填，EnvValue支持输入正则表达式来匹配所有需要排除的目标容器。 注意： 环境变量黑名单中多个键值对之间逻辑关系为【或】。
有效文件时间范围	可选时间范围为1~90天，默认3天，即默认收集传输任务创建前3天以及之后新建或编辑的文件，最多可以回溯到任务创建前90天。
样例日志	可不填写，建议填写
多行模式	为避免多行日志被截断，例如要把stack trace日志放入一条消息中，请开启多行模式，并设置行首正则表达式，系统将以此正则作为每条日志的分割标识。 注意： 开启多行模式会增加CPU占用。
数据处理	默认无，支持添加多个处理插件，可上下移动位置，添加后可删除，按顺序串行处理。 注意： 数据处理插件组合配置仅在Log Operator 2.4.12及以后版本及以后版本支持。处理插件说明。

说明

• 当前在容器引擎控制台上仅支持自定义资源（CustomResourceDefinitions，CRD）的方式配置日志采集规则。
• 日志采集规则CRD配置说明请见使用CRD配置采集规则。
• 每条CRD资源都会在日志服务BLS中生成一条传输任务（名称格式为：集群ID+命名空间名称+规则名称），建议您不要在日志服务控制台直接编辑对应的传输任务，日志采集组件会对配置进行覆盖。

管理采集规则

在目标集群管理页面选择 【运维与管理】->【日志中心】，切换到 【采集规则】 页签，查看已有采集规则及操作入口。

在采集规则列表的 【操作】 列按需执行管理动作：

• 单击 【编辑】，进入编辑页面并更新允许修改的配置项。
• 单击 【删除】，在确认弹窗中确认是否同步删除关联的 BLS 日志集资源后再提交。

说明

• 删除已有的日志采集规则需要您勾选是否同步删除采集规则关联的BLS日志集资源，若不勾选，系统则不会同步删除关联的BLS日志资源。若勾选，则删除日志采集规则后，系统会同步删除关联的BLS日志资源，请谨慎操作。
• 修改采集规则不支持修改采集规则名称、命名空间、日志投递目的及源端类型。