更新传输任务UpdateTask
更新时间:2026-04-07
描述
更新BLS日志采集传输任务配置
请求
- 请求语法
Text
1POST /task/{taskId} HTTP/1.1
2Host: <Endpoint>
3Authorization: <Authorization String>
4Content-Type: application/json; charset=utf-8
5
6{
7 "name": <name>,
8 "config": <TaskConfig>,
9 "tags": List<Tag>
10}
- 请求头域
除公共请求头域外,无其它特殊头域。
- 请求参数
| 参数名称 | 类型 | 是否必须 | 参数位置 | 描述 |
|---|---|---|---|---|
| name | String | Yes | RequestBody | 传输任务名字 |
| config | TaskConfig | Yes | RequestBody | 任务配置 |
| tags | List<Tag> | No | RequestBody | 待创建的标签列表,具体参数格式参见下述 |
- Tag
| 参数名称 | 类型 | 描述 |
|---|---|---|
| tagKey | String | 标签的键,可包含大小写字母、数字、中文以及-_ /.特殊字符,长度1-65 |
| tagValue | String | 标签的值,可包含大小写字母、数字、中文以及-_ /.特殊字符,长度0-65 |
- TaskConfig
| 参数名称 | 类型 | 描述 |
|---|---|---|
| srcConfig | SrcConfig | 数据源端配置 |
| destConfig | DestConfig | 目的端配置 |
- SrcConfig
| 参数名称 | 类型 | 描述 |
|---|---|---|
| srcType | String | 普通主机类型填host,容器类型填container |
| logType | String | 容器场景日志类型,可选值为stdout、internal |
| srcDir | String | 源日志所在目录,按glob模式匹配。多个目录按;(英文分号)分隔。srcType=host 时必填;srcType=container 且 logType=internal 时必填 |
| matchedPattern | String | 源日志文件,按正则匹配。srcType=host 时必填;srcType=container 且 logType=internal 时必填 |
| ignorePattern | String | 忽略的源日志文件 |
| timeFormat | String | 用于投BOS时,原文件路径日期解析。BLS场景通常不需要填写 |
| ttl | Int | 有效日志文件时间范围 |
| useMultiline | Bool | 是否启用多行模式 |
| multilineRegex | String | 多行模式,首行正则表达式,useMultiline=true 时必填 |
| recursiveDir | Bool | 是否启动目录递归匹配,容器采集目前没有添加目录递归 |
| processType | String | 解析类型,可选值包括 none:不解析; json:按JSON格式解析; separator:按分隔符解析; regex:按正则解析; kv:键值对解析 |
| processConfig | ProcessConfig | 数据解析详细配置。processType != none 时必填;processType=json 时可传空对象 {} |
| logTime | String | 日志时间,可选system、logTime,分别表示使用系统时间和使用日志时间 |
| timestampKey | String | 指定解析后的字段作为日志时间 |
| dateFormat | String | 指定时间戳字段的时间解析格式,format格式参考https://docs.oracle.com/javase/7/docs/api/java/text/SimpleDateFormat.html |
| filterExpr | String | 日志匹配表达式,符合规则的日志,将被采集 |
| additionConfig | JSON | 追加采集器参数 |
| metaEnv | List |
采集环境变量的列表 |
| metaLabel | List |
采集自定义Label列表 |
| metaContainer | List |
采集容器固定元数据 |
| metaToFields | Bool | 是否将采集到的元数据作为字段写入目的端 |
| HarvesterLimit | Int | 采集器并行采集的文件数量,默认值为1,文件数量多且日志量比较大时,建议配合max_procs参数使用https://cloud.baidu.com/doc/BLS/s/ym53rk1ua |
- destConfig
| 参数名称 | 类型 | 描述 |
|---|---|---|
| destType | String | 目的端类型,当前接口支持BLS,固定填BLS |
| logStore | String | 日志集名称,必填 |
| rateLimit | Int | 采集速率限制,单位MB/秒 |
| clientCount | Int | 推送服务端的客户端数量,默认值为1,当日志量比较大时,增加客户端数量可以提升数据采集速度 |
- ProcessConfig
| 参数名称 | 类型 | 描述 |
|---|---|---|
| regex | String | 处理类型是regex时必填;处理类型是kv时也必填 |
| separator | String | 处理类型是separator时必填,指定分隔符:空格blank、逗号comma、制表符tab、竖线longstring、自定义custom |
| customSeparator | String | 当separator为custom时必填 |
| quote | String | 分隔符场景可指定引用符 |
| kvKeyIndex | Int | kv解析时必填,用于指定key分组位置(从1开始) |
| kvValueIndex | Int | kv解析时必填,用于指定value分组位置(从1开始) |
| sampleLog | String | 解析日志样例,主要用于console解析预览 |
| keys | String | 解析结果的列名 |
| dataType | String | 解析结果每列对应的数据类型,支持string/int/float/bool;当填写keys时建议同时填写,数量需与keys一致 |
| discardOnFailure | Bool | 日志解析失败是否丢弃 true:丢弃 false:返回原值 |
| keepOriginal | Bool | 是否保留原日志 true:保留原日志到kafka中的@message字段,bls日志集中的@raw字段 false:解析成功则不保留原日志 |
响应
- 响应头域
除公共响应头域外,无其它特殊头域。
- 响应参数
无
错误码
除了通用的错误码,无其他错误码:
示例
- 请求示例
Text
1POST /v1/task HTTP/1.1
2Host: bls-log.bj.baidubce.com
3Authorization:bce-auth-v1/18717522d39411e9b721df098b0b908c/2019-09-10T07:00:20Z/1800/content-type;host;x-bce-date;x-bce-request-id/6a7cb6c9ac7ec156c805e55e7d0bcfc443b47feee97cf099c1c0d93a0b4c8304
4Content-Type: application/json; charset=utf-8
5
6{
7 "name": "chen_test_bls",
8 "config": {
9 "srcConfig": {
10 "srcType": "host",
11 "srcDir": "/var/log",
12 "matchedPattern": "^.*$",
13 "ignorePattern": "",
14 "ttl": 1,
15 "useMultiline": false,
16 "recursiveDir": false,
17 "processType": "regex",
18 "processConfig": {
19 "regex": "^(\\S+) (\\S+) (\\S+) (.*)$",
20 "keys": "host,time,log_level,log_content",
21 "dataType": "string,string,string,string",
22 "discardOnFailure": true,
23 "keepOriginal": false
24 },
25 "logTime": "system",
26 "timestampKey": "time",
27 "dateFormat": "yyyy-MM-dd'T'HH:mm:ss.SSS'Z'Z",
28 "filterExpr": "$log_level=\"ERROR|WARN\""
29 },
30 "destConfig": {
31 "destType": "BLS",
32 "logStore": "test1021_3",
33 "rateLimit": 1,
34 "clientCount": 1
35 }
36 },
37 "tags": [
38 {
39 "tagValue": "tag_value",
40 "tagKey": "tag_key"
41 }
42 ]
43}
- 响应示例
Text
1HTTP/1.1 204
2Content-Type: application/json; charset=utf-8
3X-Bce-Request-Id: 2eeba101-4cc7-4cfe-b5ac-a3be8d060e33
4Date: Fri, 10 Apr 2020 04:42:37 GMT
评价此篇文章
