附录
更新时间:2026-06-23
日志项目Project对象
ProjectResult
| 参数名称 | 类型 | 描述 |
|---|---|---|
| project | Project | 日志组UUID |
Project
| 参数名称 | 类型 | 描述 |
|---|---|---|
| uuid | String | 日志组UUID |
| name | String | 日志组名称 |
| description | String | 日志组描述 |
| top | Boolean | 日志组是否置顶 |
| logStoreCount | Int | 日志组中日志集的个数 |
| createdTime | DateTime | 日志组创建的日期时间 |
| updatedTime | DateTime | 日志组最后修改的日期时间 |
日志集LogStore对象
Tag
| 参数名称 | 类型 | 描述 |
|---|---|---|
| tagKey | String | 标签的键,可包含大小写字母、数字、中文以及-_ /.特殊字符,长度1-65 |
| tagValue | String | 标签的值,可包含大小写字母、数字、中文以及-_ /.特殊字符,长度0-65 |
Index
| 参数名称 | 类型 | 是否必须 | 描述 |
|---|---|---|---|
| fulltext | Boolean | 否 | 是否开启全文索引,默认false,不开启 |
| caseSensitive | Boolean | 否 | 全文索引是否区分大小写,默认false,不区分 |
| includeChinese | Boolean | 否 | 全文索引是否包含中文,默认false,不包含 |
| separators | String | 否 | 全文索引自定义分隔符,不填使用默认分词符 |
| fields | Map<String,Field> | 否 | 关键字索引包含的字段名称及类型定义 |
Field
| 参数名称 | 类型 | 是否必须 | 描述 |
|---|---|---|---|
| type | String | 是 | 字段的类型,支持的类型有:bool、long、text、float、json |
| caseSensitive | Boolean | 否 | 字段索引是否区分大小写,默认false,不区分 |
| includeChinese | Boolean | 否 | 字段索引是否包含中文,默认false,不包含 |
| separators | String | 否 | 字段索引自定义分隔符,不填使用默认分词符 |
| dynamicMapping | Boolean | 否 | 是否开启json动态索引,默认false,不开启 |
LogStoreDetail
| 参数名称 | 类型 | 描述 |
|---|---|---|
| creationDateTime | String | 创建时间 |
| disableShardAutoSplit | Boolean | 是否关闭自动分裂 |
| enableArchiveRetention | Boolean | 是否开启归档存储 |
| enableHotRetention | Boolean | 是否开启热存 |
| hotRetention | Int | 热存时长,单位天 |
| indexEnabled | Boolean | 是否开启索引 |
| lastModifiedTime | String | 更新时间 |
| logStoreName | String | 日志集名称 |
| lowFrequencyRetention | Integer | 低频存储时长,单位天 |
| maxShardCount | Int | 最大分片数量 |
| project | String | 日志项目 |
| resourceID | String | 资源id |
| retention | Int | 存储时长,单位天 |
| shardCount | Int | 分片数量 |
| shortID | String | 日志集短id |
| tags | List<Tag> | 日志集标签 |
LogStoreBatchRequest
| 参数名称 | 类型 | 描述 |
|---|---|---|
| project | String | 项目名称 |
| logStoreName | String | 日志集名称 |
日志流LogStream对象
LogStream
| 参数名称 | 类型 | 描述 |
|---|---|---|
| creationDateTime | DateTime | 日志流创建的时间 |
| logStreamName | String | 日志流名称 |
日志记录LogRecord对象
LogRecord
| 参数名称 | 类型 | 描述 |
|---|---|---|
| message | String | 日志内容 |
| timestamp | Long | 日志时间戳 |
LogTag
| 参数名称 | 类型 | 描述 |
|---|---|---|
| k | String | 标签键 |
| v | String | 标签值 |
ResultSet
| 参数名称 | 类型 | 描述 |
|---|---|---|
| queryType | String | 查询类型 |
| columns | List<String> | 列名列表 |
| columnTypes | List<String> | 列类型列表 |
| rows | List<List<Object>> | 结果行数据 |
DatasetScanInfo
| 参数名称 | 类型 | 描述 |
|---|---|---|
| statistics | Statistics | 扫描原始数据集的统计信息 |
| isTruncated | Boolean | 是否截断 |
Statistics
| 参数名称 | 类型 | 描述 |
|---|---|---|
| executionTimeInMs | Int | 执行耗时(毫秒) |
| scanCount | Int | 扫描记录数 |
| scanBytes | Int | 扫描数据量(字节) |
SearchInfo
| 参数名称 | 类型 | 描述 |
|---|---|---|
| queryType | String | 返回语句类型,match:检索语句,sql:分析语句,match_and_sql:包含检索和分析语句 |
| took | Int | 统计耗时,单位毫秒 |
| hits | Int | 匹配上的总日志条数 |
SearchStatistic
| 参数名称 | 类型 | 描述 |
|---|---|---|
| interval | Int | 直方图统计单个区间大小,统计区间的毫秒数 |
| startTime | String | 直方图统计的开始时间,是请求中的startDateTime |
| endTime | String | 直方图统计的结束时间,是请求中的endDateTime |
| histogram | List<Bucket> | 直方图统计区间的数据条数,直方图按区间大小,顺序分割排列,各个时间区间的日志数量 |
Bucket
| 参数名称 | 类型 | 描述 |
|---|---|---|
| key | Long | 时间区间的开始时间戳,第直方图的第一个时间戳是startDateTime按interval向前取整,直方图的最后一个时间戳是endDateTime按interval向前取整,直方图划分同样会规整划分,统计包括开始边界,不包括结束边界,即count [start,end) |
| doc_count | Long | 时间区间内的文档数量 |
IndexField
| 参数名称 | 类型 | 描述 |
|---|---|---|
| type | String | 字段索引类型 |
| caseSensitive | Boolean | 是否开启大小写敏感,默认false,不开启大小写敏感 |
| includeChinese | Boolean | 是否包含中文,默认为false,不包含中文 |
| separators | String | 分词符,不填使用默认分词符 |
| dynamicMapping | Boolean | 是否开启动态mapping |
快速查询FastQuery对象
FastQuery
| 参数名称 | 类型 | 描述 |
|---|---|---|
| creationDateTime | String | 快速查询创建的日期时间 |
| lastModifiedTime | String | 最后修改的日期时间 |
| fastQueryName | String | 快速查询名称 |
| description | String | 信息描述 |
| query | String | 快速查询语句 |
| project | String | 日志组名称 |
| logStoreName | String | 日志集名称 |
| logStreamName | String | 日志流名称 |
日志投递LogShipper对象
DestConfig
| 参数名称 | 类型 | 描述 |
|---|---|---|
| BOSPath | String | BOSPath为Bucket加用户自定义路径组成,最长256个字符 |
| partitionFormatTS | String | 分区格式,如%Y/%m/%d/%H/%M/,仅支持到分钟级别,可自定义,可为空,默认为%Y/%m/%d/%H/%M/ |
| partitionFormatLogStream | Boolean | 是否使用logstream作为partition层级,默认false |
| maxObjectSize | Int | 最大对象大小,单位MB,范围为1 - 510241024(5TB),默认64 |
| compressType | String | 压缩类型,可选参数:snappy/gzip/bzip2/lzop和不压缩(none),默认不压缩 |
| deliverInterval | Int | 投递间隔,单位分钟,限制范围为5-60的整数,默认5 |
| storageFormat | String | 存储格式,可选参数: parquet, json, csv,默认json |
| csvHeadline | Boolean | csv时是否投递字段名称,默认false,不投递 |
| csvDelimiter | String | csv时的分隔符,可选:逗号(,),空格( )、竖线( |
| csvQuote | String | csv时的引用符,可选:单引号('),双引号("),空(none),可自定义,默认为空 |
| nullIdentifier | String | csv时,列为空时,填写的指定内容,默认为空 |
| selectedColumnName | String | csv和parquet时,必填,选择的列名, 逗号分割的列名参数 |
| selectedColumnType | String | parquet时,必填,选择的列类型,逗号分割的列类型参数 |
| fieldsName | List<String> | 投递类型为kv时选择的字段名称,大小与fieldsType相同 |
| fieldsType | List<String> | 投递类型为kv时选择的字段类型,大小与fieldsName相同 |
| shipperType | String | 投递类型,默认为text,如果选择投递系统字段,此时也是json格式的数据;可以选择kv类型,此时只投递指定的key和value,为json格式的数据 |
| kafkaConfig | KafkaConfig | kafka配置 |
KafkaConfig
| 参数名称 | 类型 | 描述 |
|---|---|---|
| brokers | List<String> | kafka地址 |
| topic | String | kafak主题名称 |
| maxRetries | Int | 发送是否最大重试次数,默认2 |
ShipperSummary
| 参数名称 | 类型 | 描述 |
|---|---|---|
| logShipperID | String | 投递任务ID |
| logShipperName | String | 投递任务名称 |
| project | String | 日志组名称 |
| logStoreName | String | 日志集名称 |
| destType | String | 投递目的端类型 |
| status | String | 任务状态 |
| createDateTime | String | 创建时间 |
| errMessage | String | 错误信息 |
Record
| 参数名称 | 类型 | 描述 |
|---|---|---|
| startTime | String | |
| endTime | String | |
| finishedCount | Int |
报警Alarm对象
LogStore
| 参数名称 | 类型 | 描述 |
|---|---|---|
| project | String | 日志集项目,默认default |
| logStoreName | String | 日志集名称 |
| logStoreId | String | 监控对象ID |
Target
| 参数名称 | 类型 | 描述 |
|---|---|---|
| query | String | 执行语句 |
| startTimeOffsetMinute | Int | 查询开始时间偏移量,取值范围: [-1440, 0) |
| endTimeOffsetMinute | Int | 查询结束时间偏移量,取值范围: (startTimeOffsetMinute, 0] |
| object | LogStore | 目标日志集 |
TriggerCondition
| 参数名称 | 类型 | 描述 |
|---|---|---|
| level | String | 报警等级,可选项:INFO、WARN、CRITICAL |
| condition | String | 触发条件表达式 |
Schedule
| 参数名称 | 类型 | 描述 |
|---|---|---|
| intervalMinute | Int | 固定间隔,单位:分钟,取值范围[1, 1440] |
| fixTimeMinute | Int | 指定时刻,一天中的第几分钟,取值范围[0, 1440) |
| dayOfWeek | Int | 固定时间频率; 0: 每天 1~7 一周的某天 |
Notice
| 参数名称 | 类型 | 描述 |
|---|---|---|
| id | String | 报警模板id |
| name | String | 报警模板名称 |
| members | List<String> | 报警模板用户列表 |
| methods | List<String> | 报警模板通知方式,取值:EMAIL: 邮件,SMS: 短信, PHONE: 电话 |
| callbacks | List<String> | 报警模板回调地址 |
| disableTimes | List<DisableTime> | 屏蔽时间 |
DisableTime
| 参数名称 | 类型 | 描述 |
|---|---|---|
| from | DateTime | 报警屏蔽开始时间 |
| to | DateTime | 报警屏蔽结束时间 |
NoticeRawLog
| 参数名称 | 类型 | 描述 |
|---|---|---|
| type | String | 配置类型,REF: 关联执行语句,CUSTOM: 自定义检索语句 |
| refTarget | Int | 引用的执行语句序号,从0开始计数,type=REF时必填 |
| customTarget | CustomTarget | 自定义执行语句,type=CUSTOM时填写 |
| columns | List<String> | 在原始日志中展示的字段名列表 |
| limit | Int | 展示的日志条数,最大值为5 |
CustomTarget
| 参数名称 | 类型 | 描述 |
|---|---|---|
| query | String | 执行语句,必填 |
| startTimeOffsetMinute | Int | 查询开始时间偏移量,必填,取值范围: [-1440, 0) |
| endTimeOffsetMinute | Int | 查询结束时间偏移量,必填,取值范围: (startTimeOffsetMinute, 0] |
| object | LogStore | 目标日志集,选填,当每个执行语句单独指定日志集时,填写该字段 |
Schedule
| 参数名称 | 类型 | 描述 |
|---|---|---|
| intervalMinute | Int | 固定间隔,单位:分钟,取值范围[1, 1440] |
| fixTimeMinute | Int | 指定时刻,一天中的第几分钟,取值范围[0, 1440) |
| dayOfWeek | Int | 固定时间频率; 0: 每天 1~7 一周的某天 |
ValidateResult
| 参数名称 | 类型 | 描述 |
|---|---|---|
| logStore | LogStore | 日志集 |
| valid | Boolean | 是否通过校验 |
| reason | String | 若校验失败,返回失败原因 |
| columns | List<String> | 若校验通过,返回列名称列表 |
| columnTypes | List<String> | 若校验通过,返回列类型列表 |
ConditionValidateResult
| 参数名称 | 类型 | 描述 |
|---|---|---|
| valid | Boolean | 是否通过验证 |
| message | String | 验证失败时的错误信息 |
AlarmRecordsResult
| 参数名称 | 类型 | 描述 |
|---|---|---|
| pageNo | Int | 第几页 |
| pageSize | Int | 每页展示数量 |
| totalCount | Int | 总数 |
| alarms | List<Alarm> | 报警列表 |
Alarm
| 参数名称 | 类型 | 描述 |
|---|---|---|
| id | String | 报警ID |
| groupId | String | 分组ID |
| startTime | String | 报警开始时间,UTC时间 |
| endTime | String | 报警关闭时间,UTC时间,若报警未关闭,该值为空字符串 |
| state | String | 报警状态,取值:OK: 已恢复, ALERT: 报警中, CLOSED: 已关闭 |
| closeReason | String | 报警关闭原因, POLICY_MODIFIED: 报警策略更新 |
| policy | Policy | 报警策略详情 |
| object | LogStore | 目标日志集,若执行语句共享目标日志集,该字段填写当前报警关联的目标日志集 |
| triggerCondition | TriggerCondition | 触发报警时的关联的触发条件 |
| groups | Map<String, String> | 分组结果 |
| executions | List<Execution> | 执行列表 |
Policy
| 参数名称 | 类型 | 描述 |
|---|---|---|
| name | String | 报警策略名称,同user下唯一 |
| id | String | 策略ID,同user下唯一 |
| state | String | 策略启用状态 |
| noticeState | String | 通知启用状态 |
| createdTime | String | 创建时间,UTC时间 |
| updatedTime | String | 更新时间,UTC时间 |
| objects | List<LogStore> | 监控对象列表 |
| targets | List<Target> | 执行语句列表 |
| triggerConditions | List<TriggerCondition> | 触发条件列表 |
| groups | List<String> | 分组触发 |
| schedule | Schedule | 执行周期 |
| pendingCount | Int | 连续触发阈值 |
| repeatIntervalMinute | Int | 重复报警间隔,单位:分钟 |
| recoverAlarmNotice | Boolean | 恢复后是否通知 |
| notices | List<Notice> | 报警通知模板列表 |
| noticeWithRawLog | Boolean | 报警内容是否增加日志原文 |
| noticeRawConfigs | List<NoticeRawLog> | 报警通知内容配置 |
Notice
| 参数名称 | 类型 | 描述 |
|---|---|---|
| id | String | 报警模板id |
| name | String | 报警模板名称 |
| members | List<String> | 报警模板用户列表 |
| methods | List<String> | 报警模板通知方式,取值:EMAIL: 邮件,SMS: 短信, PHONE: 电话 |
| callbacks | List<String> | 报警模板回调地址 |
| disableTimes | List<DisableTime> | 屏蔽时间 |
DisableTime
| 参数名称 | 类型 | 描述 |
|---|---|---|
| from | DateTime | 报警屏蔽开始时间 |
| to | DateTime | 报警屏蔽结束时间 |
NoticeRawLog
| 参数名称 | 类型 | 描述 |
|---|---|---|
| type | String | 配置类型,REF: 关联执行语句,CUSTOM: 自定义检索语句 |
| refTarget | Int | 引用的执行语句序号,从0开始计数,type=REF时必填 |
| customTarget | CustomTarget | 自定义执行语句,type=CUSTOM时填写 |
| columns | List |
在原始日志中展示的字段名列表 |
| limit | Int | 展示的日志条数,最大值为5 |
Execution
| 参数名称 | 类型 | 描述 |
|---|---|---|
| time | String | 执行时间,UTC时间 |
| state | String | 执行状态,取值:OK: 恢复正常, ALERT: 报警中 |
| noticeState | String | 通知状态,取值:NOT_SENT: 未通知, SENT: 已通知,FAIL: 通知发送失败 |
| reason | String | 若发送失败,填写失败原因 |
| values | Map<String, Object> | 触发报警时的查询结果数据 |
| notices | List<Notice> | 报警通知模板,参考:BCM通知模板接口 |
| rawLogs | List<RawLog> | 报警通知中原始日志 |
RawLog
| 参数名称 | 类型 | 描述 |
|---|---|---|
| project | String | 日志集项目 |
| logStoreName | String | 日志集名称 |
| query | String | 查询语句 |
| columns | List<String> | 指定展示字段 |
| limit | Int | 展示的日志条数 |
| logs | List< Map<String, Object>> | 展示的日志原文 |
CustomTarget
| 参数名称 | 类型 | 描述 |
|---|---|---|
| query | String | 执行语句,必填 |
| startTimeOffsetMinute | Int | 查询开始时间偏移量,必填,取值范围: [-1440, 0) |
| endTimeOffsetMinute | Int | 查询结束时间偏移量,必填,取值范围: (startTimeOffsetMinute, 0] |
| object | LogStore | 目标日志集,选填,当每个执行语句单独指定日志集时,填写该字段 |
ExecutionListResult
| 参数名称 | 类型 | 描述 |
|---|---|---|
| pageNo | Int | 第几页 |
| pageSize | Int | 每页展示数量 |
| totalCount | Int | 总数 |
| executions | List<Execution> | 执行列表 |
ExecutionSummaryResult
| 参数名称 | 类型 | 描述 |
|---|---|---|
| executionStats | List<ExecutionStats> | 执行统计列表 |
| pageNo | Int | 第几页 |
| pageSize | Int | 每页展示数量 |
| totalCount | Int | 总数 |
ExecutionStats
| 参数名称 | 类型 | 描述 |
|---|---|---|
| policyId | String | 报警策略ID |
| policyName | String | 报警策略名称 |
| objects | List<LogStore> | 监控对象 |
| pendingCount | Int | 连续触发阈值,连续多少次触发阈值则报警 |
| repeatIntervalMinute | Int | 重复报警间隔,单位:分钟,默认值:0,表示关闭重复报警 |
| notices | List<Notice> | 报警通知模板,参考:BCM通知模板接口 |
| totalCount | Int | 执行次数 |
| failCount | Int | 执行失败次数 |
| noticeTotalCount | Int | 通知次数 |
| noticeFailCount | Int | 通知失败次数 |
日志下载Download对象
CreateDownloadResult
| 参数名称 | 类型 | 描述 |
|---|---|---|
| uuid | String |
DownloadTaskResult
| 参数名称 | 类型 | 描述 |
|---|---|---|
| task | Task | 下载任务信息 |
Task
| 参数名称 | 类型 | 描述 |
|---|---|---|
| uuid | String | 下载任务的唯一ID |
| name | String | 下载任务名称 |
| project | String | 日志组名称 |
| logStoreName | String | 日志集名称 |
| query | String | 查询语句 |
| queryStartTime | String | 日志开始时间 |
| queryEndTime | String | 日志结束时间 |
| format | String | 下载文件的格式 |
| limit | Int | 下载日志行数 |
| order | String | 排序方式 |
| state | String | 下载任务的状态,其中 WAITING:等待执行,RUNNING:执行中,SUCCESS:执行完成,FAILED:执行失败,EXPIRED:文件过期 |
| failedCode | DateTime | 下载任务执行失败码 |
| failedMessage | DateTime | 下载任务执行失败的具体原因 |
| writtenRows | Int | 写入的日志行数 |
| fileDir | String | 下载文件目录 |
| fileName | String | 下载文件名称 |
| execStartTime | String | 开始执行下载任务时间 |
| execEndTime | String | 下载任务执行结束时间 |
| createdTime | String | 下载任务创建时间 |
| updatedTime | String | 下载任务更新时间 |
DownloadLinkResult
| 参数名称 | 类型 | 描述 |
|---|---|---|
| fileDir | String | 下载文件目录 |
| fileName | String | 下载文件名称 |
| link | String | 下载文件的下载链接 |
DownloadTaskListResult
| 参数名称 | 类型 | 描述 |
|---|---|---|
| tasks | List<Task> | 下载任务列表 |
| total | Int | 总数 |
| orderBy | String | 排序字段 |
| order | String | 排序顺序 |
| pageNo | Int | 页码 |
| pageSize | Int | 每页大小 |
日志集模版Template对象
Template
| 参数名称 | 类型 | 描述 |
|---|---|---|
| retention | Int | 保存时长,单位:天 |
| shardCount | Int | 初始shard个数 |
| disableShardAutoSplit | Boolean | 是否关闭shard自动分裂 |
| maxShardCount | Int | 最大分裂数量,取值范围:[1, 50] |
| enableHotRetention | Boolean | 是否开启冷热自动分层 |
| hotRetention | Int | 热存时长,单位:天 |
| index | Index | 索引配置 |
| name | String | 模板名称,同user下唯一 |
| projectPatterns | List<String> | 日志组匹配模式,支持*通配符 |
| logstorePatterns | List<String> | 日志集匹配模式,支持*通配符 |
| priority | Int | 日志集模板优先级,值越大,优先级越高,同user下唯一 |
| createdTimestamp | String | 创建时间,UTC时间,格式:2025-04-20T10:01:12Z |
| updatedTimestamp | String | 更新时间,UTC时间,格式:2025-04-20T10:01:12Z |
日志视图LogStoreView对象
LogStoreView
| 参数名称 | 类型 | 描述 |
|---|---|---|
| project | String | 日志组名称 |
| name | String | 日志视图名称 |
| logstores | List<LogStore> | 所关联的日志集列表 |
| createdTimestamp | DateTime | 日志视图创建的日期时间 |
| updatedTimestamp | DateTime | 最后修改的日期时间 |
LogStore
| 参数名称 | 类型 | 描述 |
|---|---|---|
| region | String | 日志集所在的区域 |
| project | String | 日志集所属的日志组名称 |
| name | String | 日志集的名称 |
| extends | List<Extend> | 允许对日志集中的索引列进行别名 |
Extend
| 参数名称 | 类型 | 描述 |
|---|---|---|
| column | String | 日志集原来的列名 |
| alias | String | 该列在日志视图中的别名 |
Elasticsearch接口对象
DataStreams
| 参数名称 | 类型 | 描述 |
|---|---|---|
| name | String | 项目和日志集名称 default项目只显示名称了,非default项目为 项目名$日志集名称 的格式 |
| backing_indices | List<String> | 目前和name一样,只有单个元素 |
| timestamp_field | String | 时间字段, 取值为:@timestamp |
Error
| 参数名称 | 类型 | 描述 |
|---|---|---|
| root_cause | List<Error> | 根原因 |
| type | String | 错误类型 |
| reason | String | 错误原因 |
Field
| 参数名称 | 类型 | 描述 |
|---|---|---|
| type | String | 字段类型 |
| searchable | Boolean | 该字段是否搜索 |
| aggregatable | Boolean | 该字段是否可以聚合 |
| metadata_field | Boolean | 该字段是否是元数据字段 |
Highlight
| 参数名称 | 类型 | 描述 |
|---|---|---|
| pre_tags | List<String> | 高亮的前置标识,默认@kibana-highlighted-field@ |
| post_tags | List<String> | 高亮的后置标识,默认@/kibana-highlighted-field@ |
Response
| 参数名称 | 类型 | 描述 |
|---|---|---|
| took | Int | 查询耗时 |
| timed_out | Boolean | 是否超时 |
| _shards | Shard | 查询分片情况 |
| hits | Map<String, List<Hit >> | 命中的文档 |
| aggregations | Map<String,Object> | 聚合结果,参考官网 |
Shard
| 参数名称 | 类型 | 描述 |
|---|---|---|
| total | Int | 总共查询的分片数,目前固定为1 |
| successful | Int | 成功的分片数 |
| skipped | Int | 跳过的分片数 |
| failed | Int | 失败的分片数 |
Hit
| 参数名称 | 类型 | 描述 |
|---|---|---|
| _index | String | 项目和日志集信息 如何非default项目,使用 项目$日志集名称 的格式,defualt项目只有日志集名称 |
| _id | String | 日志集记录的ID 由offset和timestamp组成 |
| _score | Double | 得分,目前都是0 |
| sort | List<String> | 排序字段,用于查找下一页, 目前都是单个元素 |
| _version | Int | 版本,目前都是1 |
| fields | Map<String, List<Object>> | 日志集字段信息 |
| _version | Int | 版本,目前都是1 |
传输任务Task对象
Host
| 参数名称 | 类型 | 描述 |
|---|---|---|
| hostId | String | 主机ID |
Tag
| 参数名称 | 类型 | 描述 |
|---|---|---|
| tagKey | String | 标签的键,可包含大小写字母、数字、中文以及-_ /.特殊字符,长度1-65 |
| tagValue | String | 标签的值,可包含大小写字母、数字、中文以及-_ /.特殊字符,长度0-65 |
TaskConfig
| 参数名称 | 类型 | 描述 |
|---|---|---|
| srcConfig | SrcConfig | 数据源端配置 |
| destConfig | DestConfig | 目的端配置 |
SrcConfig
| 参数名称 | 类型 | 描述 |
|---|---|---|
| srcType | String | 普通主机类型填host,容器类型填container |
| logType | String | 容器场景日志类型,可选值为stdout、internal |
| srcDir | String | 源日志所在目录,按glob模式匹配。多个目录按;(英文分号)分隔。srcType=host 时必填;srcType=container 且 logType=internal 时必填 |
| matchedPattern | String | 源日志文件,按正则匹配。srcType=host 时必填;srcType=container 且 logType=internal 时必填 |
| ignorePattern | String | 忽略的源日志文件 |
| timeFormat | String | 用于投BOS时,原文件路径日期解析。BLS场景通常不需要填写 |
| ttl | Int | 有效日志文件时间范围 |
| useMultiline | Boolean | 是否启用多行模式 |
| multilineRegex | String | 多行模式首行正则表达式,useMultiline=true 时必填 |
| recursiveDir | Boolean | 是否启动目录递归匹配,容器采集目前没有目录递归 |
| processType | String | 解析类型,可选值包括 none:不解析; json:按JSON格式解析; separator:按分隔符解析; regex:按正则解析; kv:键值对解析 |
| processConfig | ProcessConfig | 数据解析详细配置。processType != none 时必填;processType=json 时可传空对象 {} |
| logTime | String | 日志时间,可选system、logTime,分别表示使用系统时间和使用日志时间 |
| timestampKey | String | 指定解析后的字段作为日志时间 |
| dateFormat | String | 指定时间戳字段的时间解析格式,format格式参考https://docs.oracle.com/javase/7/docs/api/java/text/SimpleDateFormat.html |
| filterExpr | String | 日志匹配表达式,符合规则的日志将被采集 |
| additionConfig | map<String,Object> | 追加采集器参数 |
| metaEnv | List<String> | 采集环境变量的列表 |
| metaLabel | List<String> | 采集自定义Label列表 |
| metaContainer | List<String> | 采集容器固定元数据 |
| metaToFields | Boolean | 是否将采集到的元数据写入日志字段 |
| HarvesterLimit | Int | 采集器并行采集的文件数量,默认值为1,文件数量多且日志量比较大时,建议配合max_procs参数使用https://cloud.baidu.com/doc/BLS/s/ym53rk1ua |
DestConfig
| 参数名称 | 类型 | 描述 |
|---|---|---|
| destType | String | 目的端类型,当前接口支持BLS,固定填BLS |
| logStore | String | 日志集名称,必填 |
| rateLimit | Int | 采集速率限制,单位MB/秒 |
| clientCount | Int | 推送服务端的客户端数量,默认值为1,当日志量比较大时,增加客户端数量可以提升数据采集速度 |
ProcessConfig
| 参数名称 | 类型 | 描述 |
|---|---|---|
| regex | String | 处理类型是regex时必填;处理类型是kv时也必填 |
| separator | String | 处理类型是separator时必填,指定分隔符:空格blank、逗号comma、制表符tab、竖线longstring、自定义custom |
| customSeparator | String | 当separator为custom时必填 |
| quote | String | 分隔符场景可指定引用符 |
| kvKeyIndex | Int | kv解析时必填,用于指定key分组位置(从1开始) |
| kvValueIndex | Int | kv解析时必填,用于指定value分组位置(从1开始) |
| sampleLog | String | 解析日志样例,主要用于console解析预览 |
| keys | String | 解析结果的列名 |
| dataType | String | 解析结果每列对应的数据类型,支持string/int/float/bool;当填写keys时建议同时填写,数量需与keys一致 |
| discardOnFailure | Boolean | 日志解析失败是否丢弃,true:丢弃 false:返回原值 |
| keepOriginal | Boolean | 是否保留原日志,true:保留原日志到kafka中的@message字段,bls日志集中的@raw字段;false:解析成功则不保留原日志 |
评价此篇文章
