查看与管理DPO运行
更新时间:2024-09-19
在DPO任务界面,可以查看任务的详情、新建运行任务和删除整个任务(包括运行)。
在指定任务的详情页面,可以查看所有的模型训练运行任务状态及其他相关内容。
登录到本平台,在左侧功能列偏好学习选择DPO,进入DPO主任务界面。
以下页面可以进行 详情查看、发布模型、查看 评估报告和训练日志、查看 训练过程可视化以及删除作业等。
详情
在DPO的详情页,即可查看训练运行的列表。此界面可选择“创建训练作业”。
点击任务名称,在任务详情页可查看创建运行时的基本信息、训练配置和数据配置,详情数据的来源为创建DPO作业时填入的内容。
发布
可以指定某个运行成功的任务,发布为模型(上图右上方)。
发布模型时,如果checkpoint保存个数大于1,增加Step的选择。默认选保存了Checkpoint的最新的Step(即最后一个Step)。如果checkpoint保存个数等于1,不显示Step的选择。
填写好如下参数后,将被我的模型所纳管。
需注意:当您发布到已有模型的新版本时,仅可以发布到和模型管理的基础模型一致的模型中。
评估报告
可以查看指定运行中心评估报告,包含评估信息的指标参数和Training Loss的曲线图。
- BLEU-4: 是NLP中机器翻译/⽂本摘要等生成类任务常⽤的评价指标,是将模型生成结果和标注结果分别按1-gram、2-gram、3-gram、4-gram拆分后,计算出的加权平均精确率(n-gram 指⼀个语句⾥⾯连续的n个单词组成的⽚段)。
- rouge-N(1/2/L)-f:百分⽐。ROUGE通过将模型⽣成的摘要或者回答与参考答案(⼀般是⼈⼯⽣成的)进⾏⽐较计算,得到对应的得分。Rouge-N实际上是将模型⽣成的结果和标准结果按N-gram拆分后,计算召回率。
- Rewards Accuracy:选择response的奖励超过相应的拒绝奖励response的频率的平均值。
- Rewards Chosen:选择response在最优策略模型和偏好模型的对数概率的平均差值。值越大代表效果越好。
- Rewards Margin:选择和拒绝response的对数概率的平均差值。值越大代表效果越好。
- Rewards Rejected:拒绝response在最优策略模型和偏好模型的对数概率的平均差值。值越小代表效果越好。
- Training Loss:训练集每个Step的损失。
- Embedding距离(基础模型为EB模型时):衡量两个向量相似度的度量方法。计算两段文本向量化后夹角的余弦值,值越小表示相似度越高。取值范围从0到2,0表示完全相同,1表示没有相似性,2表示完全相反。
- 编辑距离(基础模型为EB模型时):Edit distance,将一个字符串转换成另一个字符串所需的最少编辑操作次数。次数越小表示相关性越高。
训练日志
可以查看运行任务的训练情况,分为概览日志、数据处理日志和训练日志三部分,日志内容均支持下载(txt格式)。
- 概览日志:对模型训练过程中的关键步骤信息进行抽取展示。
- 数据处理日志:对模型训练过程中数据集等数据信息处理进行展示排查。
- 训练日志:对模型训练过程中的全量动作以日志的形式展示。
概览日志部分内容如下所示:
训练过程可视化
可以查看训练过程中的实时的参数变化。关于各项参数指标的定义可查看可视化指导。
删除
支持删除运行任务,运行任务一旦删除便不可恢复。