使用推理结果集
目录
登录到千帆ModelBuilder操作台,在左侧功能列选择推理结果集,进入推理结果集的管理界面。
查看数据集详情
您可查看推理结果集的数据详情,页面为您展示了推理结果集不同字段的文本内容,您可在此预览推理结果集的样本情况,如下图所示。
此外,在推理结果集信息页,您还可以查看该推理结果集的基本信息、推理模型信息等,如下图所示。
发起数据洞察
在推理结果集列表或者数据详情页,您可直接发起数据洞察,或者在数据洞察与处理页面选择目标推理结果集发起洞察。
进入数据洞察主界面,您可以直观查看不同字段的分布,对样本进行精细化遴选,删除或改写“问题样本”,提高数据质量。
在完成洞察与处理之后,您可以将挑选出的样本另存至准备用于训练的通用数据集,作为高质量训练集的数据来源。
发起模型精调
场景示例:模型A为旗舰模型(例如 ERNIE 4.0),其推理回答质量较高,因此可将模型A的推理结果集作为原始训练集,并通过数据洞察和处理提高原始训练集质量,最终对效率和成本更占优势的轻量模型B(例如ERNIE Speed)进行精调。该过程也被称为“模型蒸馏”。
注意:模型精调场景下,参与精调的推理结果集字段仅包含 system/ prompt / response(模型回答)。
在推理结果集列表或者数据详情页,您可直接发起模型精调任务,平台会携带推理结果集信息,创建对应的模型精调任务,如下图所示。
发起模型评估
注意:模型评估场景下,推理结果集须包含response(模型回答)字段。进一步地,若为自动评估场景,推理结果集也须包含reference_response(参考回答)字段。
在推理结果集列表或者数据详情页,您可直接发起模型评估任务,平台会携带推理结果集信息,创建对应的自动评估任务或人工评估任务,具体操作内容可参考相关指导说明-自动评估、人工评估。
导出推理结果集
平台支持将推理结果集导出至本地存储或对象存储BOS,并支持.jsonl/.csv/.xlsx等多种导出文件格式。
若导出至对象存储BOS,请您确保已开通对象存储BOS服务。
数据集导出任务完成后,您可下载相应导出文件。
删除推理结果集
该操作为永久删除且不可恢复,执行删除操作前请谨慎确认。