使用CRD配置采集规则
更新时间：2025-04-24
操作场景
您不仅可以控制台配置日志采集，还可通过自定义资源（CustomResourceDefinitions，CRD）的方式配置日志采集。CRD支持采集容器标准输出、容器内部日志，日志源支持采集主机和容器日志，支持多种日志采集格式，支持投递到 BLS 和 BES等不同消费端。
前提条件
CRD 介绍
CRD 定义的各个字段的具体含义，如下
CRD 资源类型
- LogConfig
LogConfig 定义
| 字段 | 描述 |
|---|---|
apiVersion string |
cce.baidubce.com/v1 |
kind string |
LogConfig |
metadata ObjectMeta |
详情看 Kubernetes API metadata. |
spec LogConfigSpec |
详见下文 |
status LogConfigStatus |
采集任务的状态和关联采集器的ID |
LogConfigSpec 定义
| 字段 | 描述 |
|---|---|
srcConfig |
详见下文 |
dstConfig |
详见下文 |
SrcConfig 定义
| 字段 | 描述 |
|---|---|
srcType SrcType |
srcType, 可选值 host, container，必填 |
logType ContainerLogType |
logType 只有 srcType 字段为 container 时，logType 才有用 可选值 stdout，internal，分别表示标准输出日志和容器内部日志，必填 |
srcDir string |
srcDir 日志采集目录，注意是目录，当 srcType=container,logType=stdout 时 不需要指定 srcDir，选填 |
matchPattern string |
matchPattern srcDir 下日志文件匹配规则，选填 |
ignorePattern string |
ignorePattern srcDir 下日志文件就忽略规则，选填 |
timeFormat string |
timeFormat 用于投 BOS 时，原文件路径日期解析，选填 |
ttl integer |
ttl agent 采集日志时间范围，单位为天，必填 |
useMultiline boolean |
useMultiline 是否启用多行模式，选填 |
multilineRegex string |
multilineRegex 多行模式首行模式，选填 |
recursiveDir boolean |
recursiveDir 是否递归采集 srcDir 下满足 matchPattern 的所有文件，包括子目录，选填 |
logTime LogTimeType |
logTime 日志时间，可选值 system, logTime, 分别表示使用系统时间和使用日志时间，选填 |
timestampKey string |
timestampKey 指定解析后的字段作为日志时间，选填 |
dateFormat string |
dateFormat 指定时间戳字段的时间解析格式，format格式参考https://docs.oracle.com/javase/7/docs/api/java/text/SimpleDateFormat.html "yyyy-MM-dd'T'HH:mm:ss.SSS'Z'Z" ，选填 |
filterExpr string |
filterExpr 日志匹配表达式，符合规则的日志，将被采集，选填 |
processType ProcessType |
processType 解析类型，选填 |
processConfig ProcessConfig |
processConfig 对应 processType 的 process 参数，详见下文，选填 |
matchLabels KVPair array |
matchLabels 容器环境匹配 labels，这里的 label 对应 docker inspect 上的 label, 不是 pod 上的 label，选填 |
ignoreLabels KVPair array |
ignoreLabels 容器环境忽略 labels，具体同上，选填 |
matchEnvs KVPair array |
matchEnvs 容器环境匹配的 env，选填 |
ignoreEnvs KVPair array |
matchEnvs 容器环境忽略匹配的 env，选填 |
matchLabels/matchEnvs 两者必须要填一个
DstConfig 定义
设置日志数据投递目的端。产品当前提供日志集、BES两种目的端，各端对应的具体参数配置分别如下：
设置日志集作为目的端
| 字段 | 描述 |
|---|---|
dstType DstType |
dstType 目的端存储类型，当前支持 BLS，必填 |
logStore string |
logStore BLS 日志集名字，必填 |
retention integer |
retention 日志存储时间，输入范围 1-90，单位为 天，必填 |
rateLimit integer |
日志上传带宽限制，输入范围 1-100 ，单位为 MB，必填 |
设置BES（Elasticsearch）作为目的端
| 字段 | 描述 |
|---|---|
dstType DstType |
dstType 目的端存储类型，当前支持 BES，必填 |
besClusterID string |
BES 集群ID，需要在同一地域，必填 |
besUser string |
BES 集群的登录用户名，必填 |
besPasswd string |
BES 集群登录密码，必填 |
besIndexPrefix string |
自定义 indes 前缀。index Rolling 开启状态下，BES 集群中的 index 名称由“index前缀+采集日期”组成，关闭状态下，index 名称由 index 前缀组成。采集日期是指数据写入 BES 时的日期，日期格式为：YYYY-MM-DD，必填 |
besIndexRolling string |
设定 BES 集群自动生成新 index 的频率。可选值为 none（不滚动生成 index）；day（每天0时生成）；week（每周一0时生成）；month（每月1号0时生成），必填 |
besIsPwChange boolean |
仅支持输入 true，必填 |
ProcessConfig 定义
| 字段 | 描述 |
|---|---|
regex string |
regex 正则规则 ，选填 |
separator string |
separator 分隔符，选填 |
quote string |
quote 分隔符场景可指定引用符，可选值包括：空，双引号"，单引号'和自定义 ，选填 |
sampleLog string |
sampleLog 解析日志样例, 解析后用于在 console 配置 keys 与 dataType ，选填 |
keys string |
keys 解析结果的列名；@message 为系统保留字，不允许设置为 key，选填 |
dataType string |
dataType 解析结果每列对应的数据类型，支持string/int/float/bool, 必须要与 keys 一一对应，选填 |
discardOnFailure boolean |
discardOnFailure 日志解析失败是否丢弃 true: 丢弃 false: 返回原值，选填 |
KeepOriginal boolean |
keepOriginal 是否保留原日志 true: 保留原日志到 kafka 中的 @message 字段，bls 日志集中的 @raw 字段 false: 解析成功则不保留原日志，选填 |
CRD 示例
- 注意：由于BLS的限制，当前默认单节点同时处理的日志文件数量上限为10
配置容器标准输出 CRD 示例
采集所有 namespace 下所有容器
YAML
1apiVersion: cce.baidubce.com/v1
2kind: LogConfig
3metadata:
4 name: all-container-stdout-log
5 namespace: kube-system
6spec:
7 srcConfig:
8 srcType: container
9 logType: stdout
10 ttl: 3
11 matchLabels:
12 - key: io.kubernetes.container.name
13 value: .*
14 - key: io.kubernetes.pod.namespace
15 value: .*
16 dstConfig:
17 dstType: BLS
18 logStore: container-stdout-log
19 retention: 10
20 rateLimit: 10采集指定 namespace 下所有容器
YAML
1apiVersion: cce.baidubce.com/v1
2kind: LogConfig
3metadata:
4 name: kube-system-container-stdout-log
5 namespace: kube-system
6spec:
7 srcConfig:
8 srcType: container
9 logType: stdout
10 ttl: 3
11 matchLabels:
12 - key: io.kubernetes.container.name
13 value: .*
14 - key: io.kubernetes.pod.namespace
15 value: kube-system
16 dstConfig:
17 dstType: BLS
18 logStore: kube-system-container-stdout-log
19 retention: 10
20 rateLimit: 10采集指定 namespace 指定容器
YAML
1apiVersion: cce.baidubce.com/v1
2kind: LogConfig
3metadata:
4 name: kube-state-metrics-log
5 namespace: kube-system
6spec:
7 srcConfig:
8 srcType: container
9 logType: stdout
10 ttl: 3
11 matchLabels:
12 - key: io.kubernetes.container.name
13 value: kube-state-metrics
14 - key: io.kubernetes.pod.namespace
15 value: kube-system
16 dstConfig:
17 dstType: BLS
18 logStore: kube-state-metrics-log
19 retention: 10
20 rateLimit: 10配置容器文件路径 CRD 示例
采集指定 namespace 指定容器内部文件路径
注意：容器内文件路径，如 /usr/local/tomcat/logs/ 需要 mount emptyDir
YAML
1apiVersion: cce.baidubce.com/v1
2kind: LogConfig
3metadata:
4 name: tomocat-log
5 namespace: default
6spec:
7 srcConfig:
8 srcType: container
9 logType: internal
10 srcDir: /usr/local/tomcat/logs/ # 容器内文件路径，注意 /usr/local/tomcat/logs/ 需要 mount emptyDir
11 matchPattern: catalina.*.log # 容器内日志文件名（支持正则）
12 ttl: 3
13 matchLabels:
14 - key: io.kubernetes.container.name
15 value: tomcat
16 - key: io.kubernetes.pod.namespace
17 value: default
18 dstConfig:
19 dstType: BLS
20 logStore: tomocat-log
21 retention: 10
22 rateLimit: 10Tomcat deployment 参考示例
YAML
1apiVersion: apps/v1
2kind: Deployment
3metadata:
4 name: tomcat
5spec:
6 selector:
7 matchLabels:
8 app: tomcat
9 replicas: 4
10 template:
11 metadata:
12 labels:
13 app: tomcat
14 spec:
15 containers:
16 - name: tomcat
17 image: "tomcat:7.0"
18 volumeMounts:
19 - name: tomcat-log
20 mountPath: /usr/local/tomcat/logs # 挂载 emptyDir
21 volumes:
22 - name: tomcat-log # 日志
23 emptyDir: {}配置节点文件路径 CRD 示例
采集节点上指定目录下日志文件
YAML
1apiVersion: cce.baidubce.com/v1
2kind: LogConfig
3metadata:
4 name: host-messages
5 namespace: kube-system
6spec:
7 srcConfig:
8 srcType: host
9 srcDir: /logbeat_host/var/log # 注意，host 日志需要添加 /logbeat_host 前缀
10 matchPattern: messages # 采集 message 日志文件
11 ttl: 3
12 dstConfig:
13 dstType: BLS
14 logStore: host-messages
15 retention: 10
16 rateLimit: 10