概述

数据加工服务用于日志数据的规整、富化、脱敏和过滤等处理。（部分地域已放开）

• 数据规整：针对混乱格式的日志进行字段提取、格式转换，获取结构化数据以支持后续的流处理、数据仓库计算。
• 数据富化：对日志和维表进行字段连接（JOIN），为日志添加更多维度信息，用于数据分析。
• 数据脱敏：对数据中包含的密码、手机号、地址等敏感信息进行脱敏。
• 数据过滤：过滤出关键服务的日志，用于重点分析。

数据加工任务列表

1. 登录百度智能云官网，点击右上角的"管理控制台"，快速进入控制台界面。
2. 选择产品服务->日志服务BLS，进入数据处理->数据加工页面，查看已创建的加工任务。

3. 列表默认显示任务名称/ID、任务状态、数据加工类型、源日志集、目标日志集、创建时间、更新时间；支持按任务状态（全部/运行中/已暂停）筛选，支持按任务名称、任务ID、源日志集、标签搜索。
4. 单击右侧操作栏，可对指定任务进行编辑、复制、暂停（启动）、删除等操作；也可勾选多个任务进行批量操作。

创建数据加工任务

1. 在数据加工任务列表页面，点击【新建加工任务】，进入创建页面，先完成基本配置。
2. 填写任务名称：不能包含空格，长度为 1-64 字，名称不能重复。

3. 选择数据加工类型：前置加工或后置加工，创建后不可修改。

   • 前置加工：在日志写入日志集之前对数据进行加工，处理完成后再写入目标日志集。

     

     • 源日志集：单选，必须选择一个，编辑时不可修改。
     • 加工时间范围：可选择"所有日志"或"指定时间范围"（可只填开始时间或结束时间）。
     • 前置加工无需配置目标日志集，加工规则将直接作用于写入该日志集的数据。

   • 后置加工：日志采集写入日志集后，再进行加工处理并分发到目标日志集，适合对已入库日志做二次处理、分发到多个目标的场景。（即将支持）

     • 源日志集：单选，必须选择一个，编辑时不可修改，且不可与目标日志集相同。

     • 目标日志集：

       • 目标名称：不能包含空格，长度为 1-64 字符，用于在编写加工语句时作为目标日志集的入参名称。
       • 日志集归属：默认当前账号，如需投递到其他账号的日志集，需切换为"其他账号"并填写用户 ID（32 位字母数字组合）及对应的 AK、SK 信息（1-64 位字母、数字或下划线）。
       • 地域：默认当前地域，支持切换到其他地域。
       • 目标日志集：从下拉列表中选择，不可与源日志集或已选择的其他目标日志集重复，重复项会自动置灰。
       • 支持点击【添加】新增多个目标日志集，最多可添加 30 个；每个目标日志集均支持复制配置或删除，仅剩一个时不可删除。
     • 加工时间范围：可选择"所有日志"或"指定时间范围"（可只填开始时间或结束时间）。
4. 完成基本配置后点击【下一步】，进入编辑加工语句页面。

• 编写加工规则：

  • 目标名称 tab：显示已配置的目标日志集对应目标名称，支持搜索，鼠标悬浮可点击【插入】将其加入右侧编辑框。（后置加工有该项内容）
  • 加工函数 tab：列出所有可用加工函数及描述，支持搜索；鼠标悬浮可查看函数的语法和示例，点击【插入】后可在右侧编辑对应参数；也支持在编辑框中直接输入并联想加工函数。
  • 右侧编辑框：可直接输入加工语句，或通过左侧插入的方式拼装规则，支持删除字段、删除日志、重命名字段等操作。

• 测试加工规则：

  • 原始日志：无日志时可点击【刷新】获取最新数据；有日志时展示所选时间范围内最近 100 条日志（若未指定时间范围，默认取最近 1 天的 100 条），可一键加入测试数据。
  • 测试数据：支持手动输入 JSON 格式的测试数据进行校验。
  • 加工结果：点击【执行预览】后，右侧展示加工后的日志内容；

5. 确认加工语句测试通过后，点击【确定】完成任务创建。

数据加工任务详情

1. 在数据加工任务列表页面，单击任务名称，进入任务详情页，查看基本信息与执行详情。

• 基本信息展示任务名称、状态、加工类型、源日志集、目标日志集（含目标名称、日志集归属、地域及跨账号时的 AK/SK 入口，前置加工无此项）、加工时间范围、创建时间、更新时间、加工语句等内容。
• 右上角支持编辑、复制、禁用（启用）、删除操作。