概述

日志服务支持将百度智能云 Kafka 和自建 Kafka 的数据导入到日志服务，实现数据集中存储、查询分析等，挖掘日志数据价值。本文档介绍从 Kafka 中导入数据到日志服务的操作步骤。

费用说明

从 Kafka导入数据涉及日志服务的写流量、日志存储等计费项。具体的价格信息请参考日志服务计费说明。

Kafka任务列表

登录日志服务控制台，选择 日志管理->日志接入，进入 【数据导入】 页签后选择 【Kafka 导入】，查看 Kafka 导入任务列表。支持任务名称、源Kafka集群等内容筛选。

创建Kafka导入任务

登录日志服务控制台，选择 日志管理->日志接入，进入 【数据导入】 页签后选择 【Kafka 导入】，点击【创建 Kafka 导入任务】。

• 基本配置：填写日志导入任务的名称
• Kafka 配置：可选择百度智能云 Kafka 和自建 Kafka

（1）百度智能云 Kafka：前提需要在百度智能云 Kafka 平台开启产品间转储开关

配置	说明
集群	选择百度智能云 Kafka 集群，可跳转新建 Kafka 集群
主题	选择完集群后，选择对应主题，支持多选
消费组	Kafka 消费组。如果不填，系统将自动创建 Kafka 消费组。
起始位置	数据导入的起始位置。可选值： 最早数据：从指定的 Kafka Topic 中的第一条数据开始导入。 最新数据：从指定的 Kafka Topic 中最新生成的数据开始导入。

（2）自建 Kafka

配置	说明
访问方式	支持公网访问，内网访问和专线内网访问
所属网络	内网访问和专线内网访问需要选择所属网络
服务地址	填写Kafka Broker 的 IP 地址和端口号或者域名和端口号，支持多个，多个服务地址之间使用半角逗号（,）分隔。
Topic	Kafka主题。多个主题之间使用半角逗号（,）分隔。
消费组	Kafka 消费组。如果不填，系统将自动创建 Kafka 消费组。
起始位置	数据导入的起始位置。可选值： 最早数据：从指定的 Kafka Topic 中的第一条数据开始导入。 最新数据：从指定的 Kafka Topic 中最新生成的数据开始导入。

• 处理配置：

Kafka 日志支持三种解析模式，输入样例日志（可导入 Kafka 预览数据），可选择数据处理插件对数据进行进一步解析处理：

解析方式	说明
JSON解析	可解析Json格式日志 原始字段：默认系统字段 @raw，可自定义修改 丢弃解析失败日志：开启状态，会自动丢弃解析失败的日志数据；关闭状态，日志解析失败时上传原始日志。
正则解析	通过正则表达式提取日志字段，并将日志解析为键值对形式 原始字段：默认系统字段 @raw，可自定义修改 样例日志：默认从外面带过来 正则表达式：输入正则表达式 日志提取字段：支持从样例日志中根据解析规则解析出来，用户需要给Value 值输入自定义的 Key 和类型，或者自定义添加（有样例日志且在第一个位置时支持解析，其他情况只可自定义添加） 丢弃解析失败日志：开启状态，会自动丢弃解析失败的日志数据；关闭状态，日志数据解析失败时，日志解析失败时上传原始日志 保留原始字段：开启后，将保留解析前的日志原始字段
时间解析	解析日志的时间字段，如不解析则默认为系统时间 原始字段：默认系统字段 @raw，可自定义修改 样例日志：默认从外面带过来 时间解析格式：配置时间解析格式则指定解析结果中的一个字段作为时间字段，您需提供该字段时间解析格式，系统将按照该格式解析日志时间，如果解析失败则使用系统时间作为日志时间。格式书写可以参考此链接：SimpleDateFormat。 ｜

查看Kafka导入任务详情

Kafka导入任务创建成功后，在 Kafka 列表页，显示已接入的的Kafka导入任务，点击传输任务名称，进入该 Kafka 导入任务详情页。

编辑、删除、暂停或启动 Kafka 导入任务

Kafka导入任务创建成功后，在 Kafka 列表页，显示已接入的的Kafka导入任务，可点击 【启动】、【暂停】、【删除】 按钮对任务执行对应操作；