创建传输任务CreateTask
更新时间：2025-03-25
描述
创建BLS日志采集传输任务
请求
- 请求语法
Text
1POST /v1/logstore HTTP/1.1
2Host: <Endpoint>
3Authorization: <Authorization String>
4Content-Type: application/json; charset=utf-8
5
6{
7 "name": <name>,
8 "config": <TaskConfig>,
9 "hosts": List<Host>,
10 "tags": List<Tag>
11}- 请求头域
除公共请求头域外，无其它特殊头域。
- 请求参数
| 参数名称 | 类型 | 是否必须 | 参数位置 | 描述 |
|---|---|---|---|---|
| name | String | Yes | RequestBody | 传输任务名字 |
| config | TaskConfig | Yes | RequestBody | 任务配置 |
| hosts | List<Host> | Yes | RequestBody | 运行任务的主机列表 |
| tags | List<Tag> | No | RequestBody | 待创建的标签列表，具体参数格式参见下述 |
- Host
| 参数名称 | 类型 | 描述 |
|---|---|---|
| hostId | String | 主机ID |
- Tag
| 参数名称 | 类型 | 描述 |
|---|---|---|
| tagKey | String | 标签的键，可包含大小写字母、数字、中文以及-_ /.特殊字符，长度1-65 |
| tagValue | String | 标签的值，可包含大小写字母、数字、中文以及-_ /.特殊字符，长度0-65 |
- TaskConfig
| 参数名称 | 类型 | 描述 |
|---|---|---|
| srcConfig | SrcConfig | 数据源端配置 |
| destConfig | DestConfig | 目的端配置 |
- SrcConfig
| 参数名称 | 类型 | 描述 |
|---|---|---|
| srcType | String | 普通主机类型填host，容器类型填container（sidecar模式按照host模式工作，因此也应当填host） |
| srcDir | String | 源日志所在目录，按glob模式匹配。多个目录按;（英文分号）分隔 |
| matchedPattern | String | 源日志文件，按正则匹配 |
| ignorePattern | String | 忽略的源日志文件 |
| timeFormat | String | 用于投BOS时，原文件路径日期解析 |
| ttl | Int | 有效日志文件时间范围 |
| useMultiline | Bool | 是否启用多行模式 |
| multilineRegex | String | 多行模式，首行正则表达式 |
| recursiveDir | Bool | 是否启动目录递归匹配，容器采集目前没有添加目录递归 |
| processType | String | 解析类型，可选值包括 none:不解析; json:按JSON格式解析; separator:按分隔符解析; regex:按正则解析；kv：键值对解析 |
| processConfig | ProcessConfig | 数据解析详细配置 |
| logTime | String | 日志时间，可选system, logTime, 分别表示使用系统时间和使用日志时间 |
| timestampKey | String | 指定解析后的字段作为日志时间 |
| dateFormat | String | 指定时间戳字段的时间解析格式，format格式参考https://docs.oracle.com/javase/7/docs/api/java/text/SimpleDateFormat.html |
| filterExpr | String | 日志匹配表达式，符合规则的日志，将被采集 |
| additionConfig | JSON | 追加采集器参数 |
| metaEnv | List |
采集环境变量的列表 |
| metaLabel | List |
采集自定义Label列表 |
| metaContainer | List |
采集容器固定元数据 |
| metaToFields | List |
将采集的环境变量作为字段写入目的端 |
- destConfig
| 参数名称 | 类型 | 描述 |
|---|---|---|
| destType | String | 目的端类型，支持BLS |
| logStore | String | 日志集名称 |
| rateLimit | Int | 采集速率限制，单位MB/秒 |
- ProcessConfig
| 参数名称 | 类型 | 描述 |
|---|---|---|
| regex | String | 处理类型是 regex 时，填写正则表达式 |
| separator | String | 处理类型是 separator时，指定分隔符: 空格"blank"、逗号"comma"、制表符"tab"、竖线"longstring"、自定义"custom" |
| customSeparator | String | "separator"为"custom"时，这里填自定义的分隔符 |
| quote | String | 分隔符场景可指定引用符，可选值包括：空，双引号"，单引号'和自定义 |
| kvKeyIndex | Int | kv解析时使用，用于指定key分组位置（从1开始） |
| kvValueIndex | Int | kv解析时使用，用于指定value分组位置（从1开始） |
| sampleLog | Int | 解析日志样例, 解析后用于在console配置keys与dataType |
| keys | String | 解析结果的列名 |
| dataType | String | 解析结果每列对应的数据类型，支持string/int/float/bool |
| discardOnFailure | Bool | 日志解析失败是否丢弃 true:丢弃 false:返回原值 （投递 BES 需要解析日志内容并以 JSON 格式投递） |
| keepOriginal | Bool | 是否保留原日志 true:保留原日志到kafka中的@message字段，bls日志集中的@raw字段 false:解析成功则不保留原日志 |
响应
- 响应头域
除公共响应头域外，无其它特殊头域。
- 响应参数
无
错误码
除了通用的错误码，无其他错误码：
示例
- 请求示例
Text
1POST /v1/logstore HTTP/1.1
2Host: bls-log.bj.baidubce.com
3Authorization:bce-auth-v1/18717522d39411e9b721df098b0b908c/2019-09-10T07:00:20Z/1800/content-type;host;x-bce-date;x-bce-request-id/6a7cb6c9ac7ec156c805e55e7d0bcfc443b47feee97cf099c1c0d93a0b4c8304
4Content-Type: application/json; charset=utf-8
5
6{
7 "name": "chen_test_bos",
8 "config":{
9 "srcConfig":{
10 "srcType":"host",
11 "srcDir":"/var/log",
12 "matchedPattern":"^.*$",
13 "ignorePattern":"",
14 "ttl":1,
15 "useMultiline": false,
16 "multilineRegex": "\[INFO|ERROR|DEBUG\]",
17 "recursiveDir": false,
18 "processType":"regex",
19 "processConfig": {
20 "regex":"",
21 "separator":"|",
22 "quote":""",
23 "sampleLog": "",
24 "keys":"host,time,log_level,log_content",
25 "dataType":"string,string,string,string",string/int/float/bool
26 "discardOnFailure" : true,
27 "keepOriginal": false
28 "dataType": "string,string,string,string,string,int,string,string,string,string",
29 "kvKeyIndex": 1,
30 "kvValueIndex": 2
31 },
32 "logTime":"system",
33 "timestampKey":"time",
34 "dateFormat":"yyyy-MM-dd'T'HH:mm:ss.SSS'Z'Z",
35 "filterExpr":"$log_level=\"ERROR|WARN\""
36 },
37 "destConfig":{
38 "destType": "BLS",
39 "logStore": "test1021_3",
40 "rateLimit": 1
41 }
42 },
43 "hosts":[{"hostId":"w4q0q2xwfq5sdi3itcy4k31td43d7e76cd89"}],
44 "tags":[{"tagValue":"tag_value", "tagKey":"tag_key"}]
45}- 响应示例
Text
1HTTP/1.1 201
2Content-Type: application/json; charset=utf-8
3X-Bce-Request-Id: 2eeba101-4cc7-4cfe-b5ac-a3be8d060e33
4Date: Fri, 10 Apr 2020 04:42:37 GMT