推理日志挖掘
目录
千帆ModelBuilder支持将在线推理服务的对话数据保存至平台数据集，经进一步的数据洞察、处理、标注后，用于模型的迭代调优。
数据回流现已全新升级！登录本平台，在左侧功能列选择推理日志挖掘进入功能主界面。
数据飞轮与推理日志挖掘
在大模型开发领域，数据飞轮重要环节之一在于：从线上业务应用持续产生的对话数据中挖掘构建精调数据集，并结合数据可视化洞察/标注/清洗/增强等操作为数据提质，最终为模型调优提供源源不断的高质量数据，如下图所示。
上述数据反馈闭环的机制不仅能有效降低长期训练和运营成本，同时模型也在每次迭代中不断增强其能力，以更好适应线上业务持续变化的市场需求和用户偏好。
通过平台提供的推理日志挖掘能力，您可方便地通过时间检索、推理输入/输出关键词检索等能力筛选出符合您精调需求的推理日志集合，并将其保存为平台数据集，达到基于线上业务应用数据构建精调数据集的目标。
此外，若日志数量较为庞大，您还可通过随机采样的方式，配置特定的百分比采样率来抽取部分日志。
典型使用场景：
| 示例场景 | 常见痛点 | 推荐解决方案（此处仅供参考，还需结合您的实际业务场景） |
|---|---|---|
| 对话模型常规优化 | 人工设计bad cases耗时费力 | 结合业务策略定义（例如文本关键词、正则等），从推理日志挖掘终端用户的负反馈样本 |
| 内容生成模型在长尾场景上的迭代 | 难以获取多样化的长尾数据 | 模型蒸馏：捞取终端用户的长尾query+旗舰模型优质生成结果 |
| 垂直领域模型训练 | 冷启动缺乏标注数据 | 从推理日志捕获种子数据，快速冷启动 |
新增推理日志投递
推理日志挖掘可帮助您从存储在日志服务BLS的海量推理请求响应日志中，利用丰富的日志检索能力来挖掘构建高质量精调数据。
在此之前，您需首先开通日志服务BLS，并开启相应推理服务的日志投递，从而将原始推理日志（包含终端用户问题与实际推理回答）落盘存储至BLS。
详情可进一步查看推理日志投递与解绑，或前往推理日志挖掘新增日志投递。
注意：
- 在您完成此操作步骤后，相应服务的推理日志将被投递至 BLS，并按日志使用量开始计费，详见日志服务计费说明。
- 推理日志挖掘仅对推理服务当前绑定的BLS日志集生效，建议在首次绑定后不轻易换绑其他日志集，以保障对历史推理日志的检索可用性。
调用推理服务，自动落盘存储推理日志
在完成上一步操作后，调用相应推理服务的行为（例如线上服务API调用、ModelBuilder体验中心等），对应推理日志都将存储至日志服务BLS中，您可自行前往BLS控制台查看推理日志情况。
例如，在ModelBuilder体验中心调用ERNIE-4.0-8K服务进行交互对话：
相应推理日志即可落盘存储至 BLS：
推理日志探索与挖掘
在开启相应推理服务的日志投递并有实际日志生成后，您可通过日志挖掘操作对推理日志进行检索分析，如下图所示：
当前支持对话Chat/续写Completions的推理服务日志挖掘，更多类型推理服务敬请期待！
基础条件查询
平台提供围绕推理请求时间、Input（推理输入）、Output（推理输出）三大基础检索能力。
特别地，多轮对话场景中：
- Input（推理输入）包含所有历史轮次对话的提问/回答及最后一轮对话的提问；
- Output（推理输出）仅包含最后一轮对话的回答；
关于随机采样
若推理日志数量较为庞大，您可通过随机采样的方式，配置特定的百分比采样率来对日志进行筛选检索，从而采样抽取部分日志。其中，采样率的取值范围为 0-100 的整数。
注意：基于采样率的随机采样场景，平台将为每条日志赋予独立的采样概率（即采样率），最终根据概率决定是否采样，因此最终检索的日志数量可能稍高或稍低于 “原始日志数量 * 采样率”。
关于metadata参数
请求推理服务时，您可使用metadata参数，为每次推理请求附加丰富的自定义业务信息（例如，标识不同应用来源、渠道、所属部门等），从而帮助您在日志挖掘环节更为精细化地遴选推理日志。
| 参数名称 | 类型 | 必填 | 描述 |
|---|---|---|---|
| metadata | map<string,string> | 否 | 说明： （1）元素个数最大支持16个 （2）key和value必须都是string类型 |
详情可进一步查看推理服务API文档。
相应地，日志挖掘页面支持基于metadata参数进行组合筛选，定位特定业务属性的推理日志集合。
检索语句查询
若上一步的基础条件查询无法满足检索需求，您还可通过日志服务BLS提供的 match 检索语法来进行精确查询，了解 match 检索语法。
检索失败时的排查指引
当配置的检索条件未查询到符合预期的推理日志时，您可配合控制台提示引导，尝试以下排查方法：
- 前往日志服务BLS，检查当前检索条件的推理日志投递情况，判断是否有实际投递、存储对应推理日志。
-
检查期望检索字段的索引配置是否正确，例如索引开关、中文索引、Json动态索引等开启情况，进一步了解索引配置。
注意：对于推理服务日志投递的BLS日志集，平台已为您创建默认的索引配置。为避免日志检索出现问题，请不要轻易修改该索引配置。
- 若使用检索语句查询，请检查输入语句是否正确遵循 match 检索语法。
- 若以上排查方案均无法解决您的问题，请在此提交工单以协助您解决问题。
将推理日志保存为平台数据集
在遴选出符合业务需求的推理日志后，您可将其保存为平台数据集。
- 推理输入+ 推理输出：将推理请求与响应的
system/user/assistant字段信息全部保存至平台数据集。 -
仅推理输入：仅将推理请求字段
system/user字段信息保存至平台数据集，丢弃推理响应的assistant字段信息。注意：多轮对话场景，平台仅丢弃作为推理响应的最后一轮
assistant字段信息，历史轮次对话的提问和回答信息均会保留。
通过以上操作，即可完成从原始推理日志遴选、抽样、构建为数据集的过程，后续可进一步结合数据洞察/处理/标注等能力为数据进一步提质，打造高质量精调数据集。
功能迁移指引
若您先前在平台创建了数据回流配置，当前可在回流数据分析查看对应的历史回流配置。
敬请注意，平台原有的“数据回流”（即“回流数据分析”）将于3月上旬下线，下线后您将无法再查看已有回流配置的历史数据内容，请您及时完成如下两个操作：
1. 在回流数据分析页面，选择您期望迁移的推理服务，依次点击【查看数据】➔【选择日期】➔【一键保存当前数据】，将历史的回流数据保存为平台数据集。
2. 按照本文档 新增推理日志投递 的操作流程，将后续新增的推理日志投递至日志服务BLS进行存储，平台全新的推理日志挖掘可为您提供更海量的日志存储与更灵活的日志检索。
示例说明：
- 假设您于 2024/08/01 在平台开启了 ERNIE-4.0-8K 的数据回流配置，平台将在 08/01 开始为您持续回流 ERNIE-4.0-8K 的推理数据。在回流数据分析页面下线后，平台将不再为您保留该时间段（2024/08/01-至今）的历史推理数据。
- 再假设您于 2025/02/05 开启了 ERNIE-4.0-8K 的 BLS 推理日志投递，那么自 02/05 起新增的推理日志将存储至您的 BLS 日志服务，平台全新的推理日志挖掘支持对 2025/02/05 -至今 的推理日志进行检索分析。
若您在功能迁移过程中遇到其他问题，请联系工单团队。
常见问题解答
1. 功能的计费情况是怎样的？
千帆平台的推理日志挖掘功能本身不收费，但将推理日志投递与存储至BLS的环节需要遵循日志服务 BLS 计费说明。
2. 当前适配的推理服务有哪些？
推理日志投递已支持全量的服务类型，换言之，全部服务的推理日志均可投递至BLS。
推理日志挖掘当前支持对话Chat/续写Completions的服务类型，更多类型服务敬请期待！
3. BLS的推理日志是否有存储时长与容量限制？
a.关于日志存储时长
BLS会对日志设置默认保留周期，具体时长取决于用户对日志集的存储周期配置，您可前往BLS控制台查看配置情况。
b.关于日志存储容量
按量计费模式下通常没有硬性上限，但您需特别关注BLS存储费用控制。