创建SFT任务
SFT实际上是Fine-Tuning的训练模式,开发者可以选择适合自己任务场景的训练模式并加以调参训练,从而实现理想的模型效果。
登录到本平台,在左侧功能列选择SFT,进入SFT主任务界面。
创建任务
您需要在SFT任务界面,选择“创建训练作业”按钮,如果您在任务列表已经有创建好的模型任务,可以直接点击“新建任务”创作模型的迭代版本,如果已有运行中的的版本,再次创建的运行任务不可切换基础模型类型。
基本信息
填写好作业名称后,选择作业类型,再进行500字内的作业描述即可。
当前SFT任务支持以下任务类型:大语言模型、文生图大模型、图理解模型。
大语言模型
训练配置
训练配置大模型参数,调整好基本配置。
- 在SFT训练任务中,可以选择开启增量训练开关。需注意的是,基准模型为“全量更新”训练出来的模型,才支持开启此开关。
为保证增量训练效果,开启增量训练后默认选取10%训练基准模型的数据混合进行训练
注意:基础模型继承基准模型(全量更新所得)版本,所以当您选定基准模型后,基础模型及版本不可变更,支持选择SFT、DPO和KTO训练后的模型。由于大模型权重占用较大存储,只能选择一个月内训练的模型发起增量训练。
- 若基准模型有保存Checkpoint的最新的Step,则显示 【名称+版本+Step】。
- 您也可以选择直接不使用增量训练,这样直接在基础模型上进行SFT。
·ERNIE 4.0 Turbo
百度自研的旗舰级超大规模⼤语⾔模型,综合效果表现出色,广泛适用于各领域复杂任务场景。
ERNIE-4.0-Turbo-8K
单条数据支持8192 tokens。该模型在性能和效果上表现优异。
训练方法 | 简单描述 |
---|---|
LoRA | 训练过程中只更新低秩部分的参数,需要的计算资源更少,训练过程更快,可以减少过拟合的风险。 |
- 参数配置
超参数 | 简单描述 |
---|---|
迭代轮次 | 迭代轮次(Epoch),控制训练过程中的迭代轮数。可以根据数据规模适当调整Epoch大小,建议设置在1-5之间,小数据量可以适当增大Epoch,让模型充分收敛。 |
学习率 | 学习率(LearningRate)是在梯度下降的过程中更新权重时的超参数,过高会导致模型难以收敛,过低则会导致模型收敛速度过慢,平台已给出默认推荐值,可根据经验调整。 |
序列长度 | 单条数据的长度,单位为token。如果数据集中每条数据的长度(输入)都在4096 tokens 以内,建议选择4096,针对短序列可以达到更优的训练效果。 |
保存日志间隔 | 日志保存间隔步数。 |
预热比例 | 学习率预热的步数占比。 |
正则化系数 | 正则化系数(Weight_decay),用于防止模型对训练数据过拟合。但系数过大,可能导致欠拟合。 |
LoRA 策略中的秩 | LoRA秩大小。 |
LoRA所有线性层 | 是否将 LoRA 策略应用在所有linear层。 |
梯度累计步数 | 将多次计算得到的梯度值进行累加,然后一次性进行参数更新。0为不指定自动计算。 |
伪多轮概率 | 采用数据拼接的数据增强策略提升长文本效果。 |
随机种子 | 随机种子。 |
学习率调整计划 | 学习率调整计划(schedulerType),用于调整训练中学习率的变动方式。 |
cosine 策略的波数 | 仅用于 cosine 策略,表示波数。 |
polynomial 策略的末端 LR | 仅用于 polynomial 策略,表示末端 LR(注意,该值若生效需要比学习率小)。 |
polynomial 策略的幂数 | 仅用于 polynomial 策略,表示幂数。 |
验证步数 | Validation Step,计算验证集Loss的间隔步数;为0时不开启验证,没有相关指标。 |
早停策略 | 监控精调任务的指标变化情况,指标连续不变则提前终止任务。 |
早停指标 | 早停策略选择true时显示,任务早停的监控指标。 |
早停指标变化量 | 早停策略选择true时显示,当精调任务指标的变化量超过早停指标变化量时才认为发生变化。 |
早停指标稳定次数 | 早停策略选择true时显示,早停指标连续不变化的次数。 |
Checkpoint保存个数 | 训练过程最终要保存的Checkpoint个数,Checkpoint保存会增加训练时长。 |
Checkpoint保存间隔数 | 训练过程中保存Checkpoint的间隔Step数。 |
·ERNIE 3.5
ERNIE 系列旗舰级大规模⼤语⾔模型,ERNIE系列中参数规模最大的模型。覆盖海量中英文语料,具有强大的通用能力。
ERNIE-3.5-8K
单条数据支持8192 tokens。ERNIE 3.5 旗舰级⼤语⾔模型。
训练方法 | 简单描述 |
---|---|
全量更新 | 全量更新在训练过程中对大模型的全部参数进行更新 |
- 参数配置
超参数 | 简单描述 |
---|---|
迭代轮次 | 迭代轮次(epoch),控制训练过程中的迭代轮数。 |
学习率 | 学习率(learning_rate)是在梯度下降的过程中更新权重时的超参数,过高会导致模型难以收敛,过低则会导致模型收敛速度过慢,平台已给出默认推荐值,可根据经验调整。 |
序列长度 | 单条数据的长度,单位为token。如果数据集中每条数据的长度(输入)都在4096 tokens 以内,建议选择4096,针对短序列可以达到更优的训练效果。 |
保存日志间隔 | 日志保存间隔步数。 |
预热比例 | 学习率预热步数占比,指训练初始阶段,在学习率较低的情况下逐渐增加学习率的比例或速率,能够帮助模型更好地适应数据,提高训练的稳定性和性能。 |
正则化系数 | 正则化系数(Weight_decay),用于防止模型对训练数据过拟合。但系数过大,可能导致欠拟合。 |
梯度累计步数 | 将多次计算得到的梯度值进行累加,然后一次性进行参数更新。0为不指定自动计算 |
伪多轮概率 | 采用数据拼接的数据增强策略提升长文本效果 |
Checkpoint保存个数 | 训练过程最终要保存的Checkpoint个数,Checkpoint保存会增加训练时长 |
Checkpoint保存间隔数 | 训练过程中保存Checkpoint的间隔Step数 |
随机种子 | 随机种子 |
学习率调整计划 | 学习率调整计划(schedulerType),用于调整训练中学习率的变动方式。 |
cosine 策略的波数 | 仅用于 cosine 策略,表示波数。 |
polynomial 策略的末端 LR | 仅用于 polynomial 策略,表示末端 LR(注意,该值若生效需要比学习率小)。 |
polynomial 策略的幂数 | 仅用于 polynomial 策略,表示幂数。 |
验证步数 | Validation Step,计算验证集Loss的间隔步数;为0时不开启验证,没有相关指标。 |
早停策略 | 监控精调任务的指标变化情况,指标连续不变则提前终止任务。 |
早停指标 | 早停策略选择ture时,显示此指标。任务早停的监控指标。 |
早停指标变化量 | 早停策略选择ture时,显示此指标。当精调任务指标的变化量超过早停指标变化量时才认为发生变化。 |
早停指标稳定次数 | 早停策略选择ture时,显示此指标。早停指标连续不变化的次数。 |
·ERNIE Speed
ERNIE Speed为百度自主研发的文心产业级知识增强大语言模型(高性能版),相较ERNIE Lite实现了基础模型的全面升级,在理解、生成、逻辑和记忆能力上有显著提升。
ERNIE-Speed-8K
训练方法 | 简单描述 |
---|---|
全量更新 | 全量更新在训练过程中对大模型的全部参数进行更新 |
LoRA | 在固定预训练大模型本身的参数的基础上,在保留自注意力模块中原始权重矩阵的基础上,对权重矩阵进行低秩分解,训练过程中只更新低秩部分的参数。 |
- 参数配置
超参数 | 简单描述 |
---|---|
迭代轮次 | 迭代轮次(epoch),控制训练过程中的迭代轮数。 |
学习率 | 学习率(learning_rate)是在梯度下降的过程中更新权重时的超参数,过高会导致模型难以收敛,过低则会导致模型收敛速度过慢,平台已给出默认推荐值,可根据经验调整。 |
序列长度 | 单条数据的长度,单位为token。如果数据集中每条数据的长度(输入)都在4096 tokens 以内,建议选择4096,针对短序列可以达到更优的训练效果。 |
保存日志间隔 | 日志保存间隔步数。 |
预热比例 | 学习率预热步数占比,指训练初始阶段,在学习率较低的情况下逐渐增加学习率的比例或速率,能够帮助模型更好地适应数据,提高训练的稳定性和性能。 |
正则化系数 | 正则化系数(Weight_decay),用于防止模型对训练数据过拟合。但系数过大,可能导致欠拟合。 |
梯度累计步数 | 将多次计算得到的梯度值进行累加,然后一次性进行参数更新。0为不指定自动计算 |
伪多轮概率 | 采用数据拼接的数据增强策略提升长文本效果 |
Checkpoint保存个数 | 训练方式选择全量更新时填写,训练过程最终要保存的Checkpoint个数,Checkpoint保存会增加训练时长 |
Checkpoint保存间隔数 | 训练方式选择全量更新时填写,训练过程中保存Checkpoint的间隔Step数 |
LoRA 策略中的秩 | 训练方式选择LoRA时填写,表示LoRA秩大小。 |
LoRA所有线性层 | 训练方式选择LoRA时填写,表示是否将 LoRA 策略应用在所有linear层。 |
随机种子 | 随机种子 |
学习率调整计划 | 学习率调整计划(schedulerType),用于调整训练中学习率的变动方式。 |
cosine 策略的波数 | 仅用于 cosine 策略,表示波数。 |
polynomial 策略的末端 LR | 仅用于 polynomial 策略,表示末端 LR(注意,该值若生效需要比学习率小)。 |
polynomial 策略的幂数 | 仅用于 polynomial 策略,表示幂数。 |
验证步数 | Validation Step,计算验证集Loss的间隔步数;为0时不开启验证,没有相关指标。 |
早停策略 | 监控精调任务的指标变化情况,指标连续不变则提前终止任务。 |
早停指标 | 早停策略选择ture时,显示此指标。任务早停的监控指标。 |
早停指标变化量 | 早停策略选择ture时,显示此指标。当精调任务指标的变化量超过早停指标变化量时才认为发生变化。 |
早停指标稳定次数 | 早停策略选择ture时,显示此指标。早停指标连续不变化的次数。 |
ERNIE-Speed-Pro-128K
训练方法 | 简单描述 |
---|---|
全量更新 | 全量更新在训练过程中对大模型的全部参数进行更新 |
LoRA | 在固定预训练大模型本身的参数的基础上,在保留自注意力模块中原始权重矩阵的基础上,对权重矩阵进行低秩分解,训练过程中只更新低秩部分的参数。 |
- 参数配置
超参数 | 简单描述 |
---|---|
迭代轮次 | 迭代轮次(epoch),控制训练过程中的迭代轮数。 |
学习率 | 学习率(learning_rate)是在梯度下降的过程中更新权重时的超参数,过高会导致模型难以收敛,过低则会导致模型收敛速度过慢,平台已给出默认推荐值,可根据经验调整。 |
序列长度 | 单条数据的长度,单位为token。如果数据集中每条数据的长度(输入)都在4096 tokens 以内,建议选择4096,针对短序列可以达到更优的训练效果。 |
保存日志间隔 | 日志保存间隔步数。 |
预热比例 | 学习率预热步数占比,指训练初始阶段,在学习率较低的情况下逐渐增加学习率的比例或速率,能够帮助模型更好地适应数据,提高训练的稳定性和性能。 |
正则化系数 | 正则化系数(Weight_decay),用于防止模型对训练数据过拟合。但系数过大,可能导致欠拟合。 |
梯度累计步数 | 将多次计算得到的梯度值进行累加,然后一次性进行参数更新。0为不指定自动计算 |
伪多轮概率 | 采用数据拼接的数据增强策略提升长文本效果 |
Checkpoint保存个数 | 训练方式选择全量更新时填写,训练过程最终要保存的Checkpoint个数,Checkpoint保存会增加训练时长 |
Checkpoint保存间隔数 | 训练方式选择全量更新时填写,训练过程中保存Checkpoint的间隔Step数 |
LoRA 策略中的秩 | 训练方式选择LoRA时填写,表示LoRA秩大小。 |
LoRA所有线性层 | 训练方式选择LoRA时填写,表示是否将 LoRA 策略应用在所有linear层。 |
随机种子 | 随机种子 |
学习率调整计划 | 学习率调整计划(schedulerType),用于调整训练中学习率的变动方式。 |
cosine 策略的波数 | 仅用于 cosine 策略,表示波数。 |
polynomial 策略的末端 LR | 仅用于 polynomial 策略,表示末端 LR(注意,该值若生效需要比学习率小)。 |
polynomial 策略的幂数 | 仅用于 polynomial 策略,表示幂数。 |
验证步数 | Validation Step,计算验证集Loss的间隔步数;为0时不开启验证,没有相关指标。 |
早停策略 | 监控精调任务的指标变化情况,指标连续不变则提前终止任务。 |
早停指标 | 早停策略选择ture时,显示此指标。任务早停的监控指标。 |
早停指标变化量 | 早停策略选择ture时,显示此指标。当精调任务指标的变化量超过早停指标变化量时才认为发生变化。 |
早停指标稳定次数 | 早停策略选择ture时,显示此指标。早停指标连续不变化的次数。 |
·ERNIE Lite
百度自行研发的大语言模型,覆盖海量中文数据,具有更强的对话问答、内容创作生成等能力。
ERNIE-Lite-8K-0308
2024年3月8日发布版本,对模型效果进行了优化,支持8K上下文长度。
训练方法 | 简单描述 |
---|---|
全量更新 | 全量更新在训练过程中对大模型的全部参数进行更新 |
LoRA | LoRA在固定预训练大模型本身的参数的基础上,在保留自注意力模块中原始权重矩阵的基础上,对权重矩阵进行低秩分解,训练过程中只更新低秩部分的参数。 |
- 参数配置
超参数 | 简单描述 |
---|---|
迭代轮次 | 迭代轮次(epoch),控制训练过程中的迭代轮数。 |
学习率 | 学习率(learning_rate)是在梯度下降的过程中更新权重时的超参数,过高会导致模型难以收敛,过低则会导致模型收敛速度过慢,平台已给出默认推荐值,可根据经验调整。 |
序列长度 | 单条数据的长度,单位为token。如果数据集中每条数据的长度(输入)都在4096 tokens 以内,建议选择4096,针对短序列可以达到更优的训练效果。 |
保存日志间隔 | 日志保存间隔步数。 |
预热比例 | 学习率预热步数占比,指训练初始阶段,在学习率较低的情况下逐渐增加学习率的比例或速率,能够帮助模型更好地适应数据,提高训练的稳定性和性能。 |
正则化系数 | 正则化系数(Weight_decay),用于防止模型对训练数据过拟合。但系数过大,可能导致欠拟合。 |
梯度累计步数 | 将多次计算得到的梯度值进行累加,然后一次性进行参数更新。0为不指定自动计算 |
伪多轮概率 | 采用数据拼接的数据增强策略提升长文本效果 |
Checkpoint保存个数 | 训练方式选择全量更新时填写,训练过程最终要保存的Checkpoint个数,Checkpoint保存会增加训练时长 |
Checkpoint保存间隔数 | 训练方式选择全量更新时填写,训练过程中保存Checkpoint的间隔Step数 |
LoRA 策略中的秩 | 训练方式选择LoRA时填写,表示LoRA秩大小。 |
LoRA所有线性层 | 训练方式选择LoRA时填写,表示是否将 LoRA 策略应用在所有linear层。 |
随机种子 | 随机种子 |
学习率调整计划 | 学习率调整计划(schedulerType),用于调整训练中学习率的变动方式。 |
cosine 策略的波数 | 仅用于 cosine 策略,表示波数。 |
polynomial 策略的末端 LR | 仅用于 polynomial 策略,表示末端 LR(注意,该值若生效需要比学习率小)。 |
polynomial 策略的幂数 | 仅用于 polynomial 策略,表示幂数。 |
验证步数 | Validation Step,计算验证集Loss的间隔步数;为0时不开启验证,没有相关指标。 |
早停策略 | 监控精调任务的指标变化情况,指标连续不变则提前终止任务。 |
早停指标 | 早停策略选择ture时,显示此指标。任务早停的监控指标。 |
早停指标变化量 | 早停策略选择ture时,显示此指标。当精调任务指标的变化量超过早停指标变化量时才认为发生变化。 |
早停指标稳定次数 | 早停策略选择ture时,显示此指标。早停指标连续不变化的次数。 |
ERNIE-Lite-128K-0722
单条数据支持128k tokens。模型基于海量长文本数据训练,具有优秀的长文本创作能力。
训练方法 | 简单描述 |
---|---|
全量更新 | 全量更新在训练过程中对大模型的全部参数进行更新 |
- 参数配置
超参数 | 简单描述 |
---|---|
迭代轮次 | 迭代轮次(epoch),控制训练过程中的迭代轮数。 |
学习率 | 学习率(learning_rate)是在梯度下降的过程中更新权重时的超参数,过高会导致模型难以收敛,过低则会导致模型收敛速度过慢,平台已给出默认推荐值,可根据经验调整。 |
序列长度 | 单条数据的长度,单位为token。如果数据集中每条数据的长度(输入)都在4096 tokens 以内,建议选择4096,针对短序列可以达到更优的训练效果。 |
保存日志间隔 | 日志保存间隔步数。 |
预热比例 | 学习率预热步数占比,指训练初始阶段,在学习率较低的情况下逐渐增加学习率的比例或速率,能够帮助模型更好地适应数据,提高训练的稳定性和性能。 |
正则化系数 | 正则化系数(Weight_decay),用于防止模型对训练数据过拟合。但系数过大,可能导致欠拟合。 |
梯度累计步数 | 将多次计算得到的梯度值进行累加,然后一次性进行参数更新。0为不指定自动计算 |
伪多轮概率 | 采用数据拼接的数据增强策略提升长文本效果。 |
Checkpoint保存个数 | 训练方式选择全量更新时填写,训练过程最终要保存的Checkpoint个数,Checkpoint保存会增加训练时长 |
Checkpoint保存间隔数 | 训练方式选择全量更新时填写,训练过程中保存Checkpoint的间隔Step数 |
随机种子 | 随机种子 |
学习率调整计划 | 学习率调整计划(schedulerType),用于调整训练中学习率的变动方式。 |
cosine 策略的波数 | 仅用于 cosine 策略,表示波数。 |
polynomial 策略的末端 LR | 仅用于 polynomial 策略,表示末端 LR(注意,该值若生效需要比学习率小)。 |
polynomial 策略的幂数 | 仅用于 polynomial 策略,表示幂数。 |
验证步数 | Validation Step,计算验证集Loss的间隔步数;为0时不开启验证,没有相关指标。 |
早停策略 | 监控精调任务的指标变化情况,指标连续不变则提前终止任务。 |
早停指标 | 早停策略选择ture时,显示此指标。任务早停的监控指标。 |
早停指标变化量 | 早停策略选择ture时,显示此指标。当精调任务指标的变化量超过早停指标变化量时才认为发生变化。 |
早停指标稳定次数 | 早停策略选择ture时,显示此指标。早停指标连续不变化的次数。 |
ERNIE-Lite-128K-0419
单条数据支持128k tokens。模型基于海量长文本数据训练,具有优秀的长文本创作能力。
训练方法 | 简单描述 |
---|---|
全量更新 | 全量更新在训练过程中对大模型的全部参数进行更新 |
- 参数配置
超参数 | 简单描述 |
---|---|
迭代轮次 | 迭代轮次(epoch),控制训练过程中的迭代轮数。 |
学习率 | 学习率(learning_rate)是在梯度下降的过程中更新权重时的超参数,过高会导致模型难以收敛,过低则会导致模型收敛速度过慢,平台已给出默认推荐值,可根据经验调整。 |
序列长度 | 单条数据的长度,单位为token。如果数据集中每条数据的长度(输入)都在4096 tokens 以内,建议选择4096,针对短序列可以达到更优的训练效果。 |
保存日志间隔 | 日志保存间隔步数。 |
预热比例 | 学习率预热步数占比,指训练初始阶段,在学习率较低的情况下逐渐增加学习率的比例或速率,能够帮助模型更好地适应数据,提高训练的稳定性和性能。 |
正则化系数 | 正则化系数(Weight_decay),用于防止模型对训练数据过拟合。但系数过大,可能导致欠拟合。 |
梯度累计步数 | 将多次计算得到的梯度值进行累加,然后一次性进行参数更新。0为不指定自动计算 |
伪多轮概率 | 采用数据拼接的数据增强策略提升长文本效果。 |
Checkpoint保存个数 | 训练方式选择全量更新时填写,训练过程最终要保存的Checkpoint个数,Checkpoint保存会增加训练时长 |
Checkpoint保存间隔数 | 训练方式选择全量更新时填写,训练过程中保存Checkpoint的间隔Step数 |
随机种子 | 随机种子 |
学习率调整计划 | 学习率调整计划(schedulerType),用于调整训练中学习率的变动方式。 |
cosine 策略的波数 | 仅用于 cosine 策略,表示波数。 |
polynomial 策略的末端 LR | 仅用于 polynomial 策略,表示末端 LR(注意,该值若生效需要比学习率小)。 |
polynomial 策略的幂数 | 仅用于 polynomial 策略,表示幂数。 |
验证步数 | Validation Step,计算验证集Loss的间隔步数;为0时不开启验证,没有相关指标。 |
早停策略 | 监控精调任务的指标变化情况,指标连续不变则提前终止任务。 |
早停指标 | 早停策略选择ture时,显示此指标。任务早停的监控指标。 |
早停指标变化量 | 早停策略选择ture时,显示此指标。当精调任务指标的变化量超过早停指标变化量时才认为发生变化。 |
早停指标稳定次数 | 早停策略选择ture时,显示此指标。早停指标连续不变化的次数。 |
·ERNIE Character
百度自研的垂直场景大语言模型,适合游戏NPC、客服对话、对话角色扮演等应用场景,人设风格更为鲜明、一致,指令遵循能力更强,推理性能更优。
ERNIE-Character-8K-0321
单条数据支持8192 tokens。2024年3月21日发布的初始版本。
训练方法 | 简单描述 |
---|---|
全量更新 | 全量更新在训练过程中对大模型的全部参数进行更新 |
LoRA | LoRA在固定预训练大模型本身的参数的基础上,在保留自注意力模块中原始权重矩阵的基础上,对权重矩阵进行低秩分解,训练过程中只更新低秩部分的参数。 |
- 参数配置
超参数 | 简单描述 |
---|---|
迭代轮次 | 迭代轮次(epoch),控制训练过程中的迭代轮数。 |
学习率 | 学习率(learning_rate)是在梯度下降的过程中更新权重时的超参数,过高会导致模型难以收敛,过低则会导致模型收敛速度过慢,平台已给出默认推荐值,可根据经验调整。 |
序列长度 | 单条数据的长度,单位为token。如果数据集中每条数据的长度(输入)都在4096 tokens 以内,建议选择4096,针对短序列可以达到更优的训练效果。 |
保存日志间隔 | 日志保存间隔步数。 |
预热比例 | 学习率预热步数占比,指训练初始阶段,在学习率较低的情况下逐渐增加学习率的比例或速率,能够帮助模型更好地适应数据,提高训练的稳定性和性能。 |
正则化系数 | 正则化系数(Weight_decay),用于防止模型对训练数据过拟合。但系数过大,可能导致欠拟合。 |
梯度累计步数 | 将多次计算得到的梯度值进行累加,然后一次性进行参数更新。0为不指定自动计算 |
伪多轮概率 | 采用数据拼接的数据增强策略提升长文本效果。 |
Checkpoint保存个数 | 训练方式选择全量更新时填写,训练过程最终要保存的Checkpoint个数,Checkpoint保存会增加训练时长 |
Checkpoint保存间隔数 | 训练方式选择全量更新时填写,训练过程中保存Checkpoint的间隔Step数 |
LoRA 策略中的秩 | 训练方式选择LoRA时填写,表示LoRA秩大小。 |
LoRA所有线性层 | 训练方式选择LoRA时填写,表示是否将 LoRA 策略应用在所有linear层。 |
随机种子 | 随机种子 |
学习率调整计划 | 学习率调整计划(schedulerType),用于调整训练中学习率的变动方式。 |
cosine 策略的波数 | 仅用于 cosine 策略,表示波数。 |
polynomial 策略的末端 LR | 仅用于 polynomial 策略,表示末端 LR(注意,该值若生效需要比学习率小)。 |
polynomial 策略的幂数 | 仅用于 polynomial 策略,表示幂数。 |
验证步数 | Validation Step,计算验证集Loss的间隔步数;为0时不开启验证,没有相关指标。 |
早停策略 | 监控精调任务的指标变化情况,指标连续不变则提前终止任务。 |
早停指标 | 早停策略选择ture时,显示此指标。任务早停的监控指标。 |
早停指标变化量 | 早停策略选择ture时,显示此指标。当精调任务指标的变化量超过早停指标变化量时才认为发生变化。 |
早停指标稳定次数 | 早停策略选择ture时,显示此指标。早停指标连续不变化的次数。 |
ERNIE-Character-Fiction-8K
单条数据支持8192 tokens。相比ERNIE-Character-8K-0321,在情节演绎和括号文学等指令遵循能力更强。
训练方法 | 简单描述 |
---|---|
全量更新 | 全量更新在训练过程中对大模型的全部参数进行更新 |
LoRA | LoRA在固定预训练大模型本身的参数的基础上,在保留自注意力模块中原始权重矩阵的基础上,对权重矩阵进行低秩分解,训练过程中只更新低秩部分的参数。 |
- 参数配置
超参数 | 简单描述 |
---|---|
迭代轮次 | 迭代轮次(epoch),控制训练过程中的迭代轮数。 |
学习率 | 学习率(learning_rate)是在梯度下降的过程中更新权重时的超参数,过高会导致模型难以收敛,过低则会导致模型收敛速度过慢,平台已给出默认推荐值,可根据经验调整。 |
序列长度 | 单条数据的长度,单位为token。如果数据集中每条数据的长度(输入)都在4096 tokens 以内,建议选择4096,针对短序列可以达到更优的训练效果。 |
保存日志间隔 | 日志保存间隔步数。 |
预热比例 | 学习率预热步数占比,指训练初始阶段,在学习率较低的情况下逐渐增加学习率的比例或速率,能够帮助模型更好地适应数据,提高训练的稳定性和性能。 |
正则化系数 | 正则化系数(Weight_decay),用于防止模型对训练数据过拟合。但系数过大,可能导致欠拟合。 |
LoRA 策略中的秩 | 训练方式选择LoRA时填写,LoRA秩大小。 |
LoRA所有线性层 | 训练方式选择LoRA时填写,是否将 LoRA 策略应用在所有linear层。 |
梯度累计步数 | 将多次计算得到的梯度值进行累加,然后一次性进行参数更新。0为不指定自动计算 |
伪多轮概率 | 采用数据拼接的数据增强策略提升长文本效果 |
Checkpoint保存个数 | 训练过程最终要保存的Checkpoint个数,Checkpoint保存会增加训练时长 |
Checkpoint保存间隔数 | 训练过程中保存Checkpoint的间隔Step数 |
随机种子 | 随机种子 |
学习率调整计划 | 学习率调整计划(schedulerType),用于调整训练中学习率的变动方式。 |
cosine 策略的波数 | 仅用于 cosine 策略,表示波数。 |
polynomial 策略的末端 LR | 仅用于 polynomial 策略,表示末端 LR(注意,该值若生效需要比学习率小)。 |
polynomial 策略的幂数 | 仅用于 polynomial 策略,表示幂数。 |
验证步数 | Validation Step,计算验证集Loss的间隔步数;为0时不开启验证,没有相关指标。 |
早停策略 | 监控精调任务的指标变化情况,指标连续不变则提前终止任务。 |
早停指标 | 早停策略选择ture时,显示此指标。任务早停的监控指标。 |
早停指标变化量 | 早停策略选择ture时,显示此指标。当精调任务指标的变化量超过早停指标变化量时才认为发生变化。 |
早停指标稳定次数 | 早停策略选择ture时,显示此指标。早停指标连续不变化的次数。 |
·ERNIE Tiny
ERNIE-Tiny-8K
2024年3月8日发布的初始版本,支持8K上下文长度。
训练方法 | 简单描述 |
---|---|
全量更新 | 全量更新在训练过程中对大模型的全部参数进行更新 |
LoRA | LoRA在固定预训练大模型本身的参数的基础上,在保留自注意力模块中原始权重矩阵的基础上,对权重矩阵进行低秩分解,训练过程中只更新低秩部分的参数。 |
- 参数配置
超参数 | 简单描述 |
---|---|
迭代轮次 | 迭代轮次(epoch),控制训练过程中的迭代轮数。 |
学习率 | 学习率(learning_rate)是在梯度下降的过程中更新权重时的超参数,过高会导致模型难以收敛,过低则会导致模型收敛速度过慢,平台已给出默认推荐值,可根据经验调整。 |
序列长度 | 单条数据的长度,单位为token。如果数据集中每条数据的长度(输入)都在4096 tokens 以内,建议选择4096,针对短序列可以达到更优的训练效果。 |
保存日志间隔 | 日志保存间隔步数。 |
预热比例 | 学习率预热步数占比,指训练初始阶段,在学习率较低的情况下逐渐增加学习率的比例或速率,能够帮助模型更好地适应数据,提高训练的稳定性和性能。 |
正则化系数 | 正则化系数(Weight_decay),用于防止模型对训练数据过拟合。但系数过大,可能导致欠拟合。 |
LoRA 策略中的秩 | 训练方式选择LoRA时填写,LoRA秩大小。 |
LoRA所有线性层 | 训练方式选择LoRA时填写,是否将 LoRA 策略应用在所有linear层。 |
梯度累计步数 | 将多次计算得到的梯度值进行累加,然后一次性进行参数更新。0为不指定自动计算 |
伪多轮概率 | 采用数据拼接的数据增强策略提升长文本效果 |
Checkpoint保存个数 | 训练过程最终要保存的Checkpoint个数,Checkpoint保存会增加训练时长 |
Checkpoint保存间隔数 | 训练过程中保存Checkpoint的间隔Step数 |
随机种子 | 随机种子 |
学习率调整计划 | 学习率调整计划(schedulerType),用于调整训练中学习率的变动方式。 |
cosine 策略的波数 | 仅用于 cosine 策略,表示波数。 |
polynomial 策略的末端 LR | 仅用于 polynomial 策略,表示末端 LR(注意,该值若生效需要比学习率小)。 |
polynomial 策略的幂数 | 仅用于 polynomial 策略,表示幂数。 |
验证步数 | Validation Step,计算验证集Loss的间隔步数;为0时不开启验证,没有相关指标。 |
早停策略 | 监控精调任务的指标变化情况,指标连续不变则提前终止任务。 |
早停指标 | 早停策略选择ture时,显示此指标。任务早停的监控指标。 |
早停指标变化量 | 早停策略选择ture时,显示此指标。当精调任务指标的变化量超过早停指标变化量时才认为发生变化。 |
早停指标稳定次数 | 早停策略选择ture时,显示此指标。早停指标连续不变化的次数。 |
ERNIE-Tiny-128K-0929
2024年9月29日发布的版本,单条数据支持128k tokens。
训练方法 | 简单描述 |
---|---|
全量更新 | 全量更新在训练过程中对大模型的全部参数进行更新 |
LoRA | LoRA在固定预训练大模型本身的参数的基础上,在保留自注意力模块中原始权重矩阵的基础上,对权重矩阵进行低秩分解,训练过程中只更新低秩部分的参数。 |
- 参数配置
超参数 | 简单描述 |
---|---|
迭代轮次 | 迭代轮次(epoch),控制训练过程中的迭代轮数。 |
学习率 | 学习率(learning_rate)是在梯度下降的过程中更新权重时的超参数,过高会导致模型难以收敛,过低则会导致模型收敛速度过慢,平台已给出默认推荐值,可根据经验调整。 |
序列长度 | 单条数据的长度,单位为token。如果数据集中每条数据的长度(输入)都在4096 tokens 以内,建议选择4096,针对短序列可以达到更优的训练效果。 |
保存日志间隔 | 日志保存间隔步数。 |
预热比例 | 学习率预热步数占比,指训练初始阶段,在学习率较低的情况下逐渐增加学习率的比例或速率,能够帮助模型更好地适应数据,提高训练的稳定性和性能。 |
正则化系数 | 正则化系数(Weight_decay),用于防止模型对训练数据过拟合。但系数过大,可能导致欠拟合。 |
LoRA 策略中的秩 | 训练方式选择LoRA时填写,LoRA秩大小。 |
LoRA所有线性层 | 训练方式选择LoRA时填写,是否将 LoRA 策略应用在所有linear层。 |
梯度累计步数 | 将多次计算得到的梯度值进行累加,然后一次性进行参数更新。0为不指定自动计算 |
伪多轮概率 | 采用数据拼接的数据增强策略提升长文本效果 |
Checkpoint保存个数 | 训练过程最终要保存的Checkpoint个数,Checkpoint保存会增加训练时长 |
Checkpoint保存间隔数 | 训练过程中保存Checkpoint的间隔Step数 |
随机种子 | 随机种子 |
学习率调整计划 | 学习率调整计划(schedulerType),用于调整训练中学习率的变动方式。 |
cosine 策略的波数 | 仅用于 cosine 策略,表示波数。 |
polynomial 策略的末端 LR | 仅用于 polynomial 策略,表示末端 LR(注意,该值若生效需要比学习率小)。 |
polynomial 策略的幂数 | 仅用于 polynomial 策略,表示幂数。 |
验证步数 | Validation Step,计算验证集Loss的间隔步数;为0时不开启验证,没有相关指标。 |
早停策略 | 监控精调任务的指标变化情况,指标连续不变则提前终止任务。 |
Llama
Llama 是Facebook 推出的开源大语言模型。千帆ModelBuilder团队在开源模型基础上做了中文增强。
Meta-Llama-3.1-8B
单条数据支持8192tokens。Meta-Llama-3.1-8B是在15T+tokens上训练的80亿参数预训练大语言模型,推理效果整体优于同参数量级开源模型。
训练方法 | 简单描述 |
---|---|
全量更新 | 全量更新在训练过程中对大模型的全部参数进行更新 |
LoRA | LoRA在固定预训练大模型本身的参数的基础上,在保留自注意力模块中原始权重矩阵的基础上,对权重矩阵进行低秩分解,训练过程中只更新低秩部分的参数。 |
- 参数配置
超参数 | 简单描述 |
---|---|
迭代轮次 | 迭代轮次(epoch),控制训练过程中的迭代轮数。 |
学习率 | 学习率(learning_rate)是在梯度下降的过程中更新权重时的超参数,过高会导致模型难以收敛,过低则会导致模型收敛速度过慢,平台已给出默认推荐值,可根据经验调整。 |
验证步数 | Validation Step,计算验证集Loss的间隔步数;为0时不开启验证,没有相关指标。 |
批处理大小 | 批处理大小(BatchSize)表示在每次训练迭代中使用的样本数。较大的批处理大小可以加速训练,但可能会导致内存问题。 |
Packing | 将多条训练样本拼接到一个seqLen长度内。 |
学习率调整计划 | 学习率调整计划(schedulerName),用于调整训练中学习率的变动方式。 |
学习率预热步数占比 | 学习率预热步数占比(warmupRatio),指训练初始阶段,在学习率较低的情况下逐渐增加学习率的比例。 |
权重衰减数值 | 权重衰减数值(weightDecay),是一种正则化技术,用于帮助控制神经网络模型的复杂性以及减少过拟合的风险。 |
loraRank | 训练方式选择LoRA时填写,LoRA策略中rank,数值越大lora参数越多。 |
loraAlpha | 训练方式选择LoRA时填写,LoRA微调中的缩放系数,系数越大lora影响力越大。 |
loraDropout | 训练方式选择LoRA时填写,LoRA微调中的Dropout系数,用于防止lora训练中的过拟合。 |
序列长度 | 序列长度(seqLen),单条样本的最大长度。如果训练数据较短,减少此项可以加快训练速度。 |
Checkpoint保存个数 | 训练过程最终要保存的Checkpoint个数,Checkpoint保存会增加训练时长。 |
Checkpoint保存间隔数 | 训练过程中保存Checkpoint的间隔Step数。 |
Meta-Llama-3-8B
单条数据支持4096 tokens。Meta-Llama-3-8B在通用能力、知识推理、阅读理解的行业基准测评上表现优异。
训练方法 | 简单描述 |
---|---|
全量更新 | 全量更新在训练过程中对大模型的全部参数进行更新 |
- 参数配置
超参数 | 简单描述 |
---|---|
迭代轮次 | 迭代轮次(epoch),控制训练过程中的迭代轮数。 |
批处理大小 | 批处理大小(Batchsize)表示在每次训练迭代中使用的样本数。较大的批处理大小可以加速训练,但可能会导致内存问题。 |
学习率 | 学习率(learning_rate)是在梯度下降的过程中更新权重时的超参数,过高会导致模型难以收敛,过低则会导致模型收敛速度过慢,平台已给出默认推荐值,可根据经验调整。 |
验证步数 | Validation Step,计算验证集Loss的间隔步数;为0时不开启验证,没有相关指标。 |
Qianfan-Chinese-Llama-2-13b-v2
千帆ModelBuilder团队基于Llama2架构开发的130亿参数预训练大语言模型,在1T+ tokens的高质量自有语料上从零开始训练,支持中英双语。推理效果整体优于同参数量级开源模型。
训练方法 | 简单描述 |
---|---|
全量更新 | 全量更新在训练过程中对大模型的全部参数进行更新 |
LoRA | 在固定预训练大模型本身的参数的基础上,在保留自注意力模块中原始权重矩阵的基础上,对权重矩阵进行低秩分解,训练过程中只更新低秩部分的参数。 |
- 参数配置
超参数 | 简单描述 |
---|---|
迭代轮次 | 迭代轮次(epoch),控制训练过程中的迭代轮数。 |
批处理大小 | 批处理大小(Batchsize)表示在每次训练迭代中使用的样本数。较大的批处理大小可以加速训练,但可能会导致内存问题。 |
学习率 | 学习率(learning_rate)是在梯度下降的过程中更新权重时的超参数,过高会导致模型难以收敛,过低则会导致模型收敛速度过慢,平台已给出默认推荐值,可根据经验调整。 |
Packing | 将多条训练样本拼接到一个seqLen长度内。 |
学习率调整计划 | 用于调整训练中学习率的变动方式。 |
学习率预热步数占比 | 指训练初始阶段,在学习率较低的情况下逐渐增加学习率的比例或速率,能够帮助模型更好地适应数据,提高训练的稳定性和性能。 |
权重衰减数值 | 是一种正则化技术,用于帮助控制神经网络模型的复杂性以及减少过拟合的风险。 |
Checkpoint保存个数 | 训练过程最终要保存的Checkpoint个数,Checkpoint保存会增加训练时长 |
Checkpoint保存间隔数 | 训练过程中保存Checkpoint的间隔Step数 |
loraRank | 训练方式选择LoRA时填写,LoRA策略中rank,数值越大lora参数越多。 |
loraAlpha | 训练方式选择LoRA时填写,LoRA微调中的缩放系数,系数越大lora影响力越大。 |
loraDropout | 训练方式选择LoRA时填写,LoRA微调中的Dropout系数,用于防止lora训练中的过拟合。 |
序列长度 | 单条样本的最大长度。如果训练数据较短,减少此项可以加快训练速度。 |
验证步数 | Validation Step,计算验证集Loss的间隔步数;为0时不开启验证,没有相关指标。 |
Qianfan-Chinese-Llama-2-7B
单条数据支持4096 tokens。Qianfan-Chinese-Llama-2-7B,千帆ModelBuilder团队在Llama-2-7b基础上的中文增强版本。
训练方法 | 简单描述 |
---|---|
全量更新 | 全量更新在训练过程中对大模型的全部参数进行更新 |
LoRA | 在固定预训练大模型本身的参数的基础上,在保留自注意力模块中原始权重矩阵的基础上,对权重矩阵进行低秩分解,训练过程中只更新低秩部分的参数。 |
- 参数配置
超参数 | 简单描述 |
---|---|
迭代轮次 | 迭代轮次(epoch),控制训练过程中的迭代轮数。 |
批处理大小 | 批处理大小(Batchsize)表示在每次训练迭代中使用的样本数。较大的批处理大小可以加速训练,但可能会导致内存问题。 |
学习率 | 学习率(learning_rate)是在梯度下降的过程中更新权重时的超参数,过高会导致模型难以收敛,过低则会导致模型收敛速度过慢,平台已给出默认推荐值,可根据经验调整。 |
Packing | 将多条训练样本拼接到一个seqLen长度内。 |
学习率调整计划 | 用于调整训练中学习率的变动方式。 |
学习率预热步数占比 | 指训练初始阶段,在学习率较低的情况下逐渐增加学习率的比例或速率,能够帮助模型更好地适应数据,提高训练的稳定性和性能。 |
权重衰减数值 | 是一种正则化技术,用于帮助控制神经网络模型的复杂性以及减少过拟合的风险。 |
Checkpoint保存个数 | 训练过程最终要保存的Checkpoint个数,Checkpoint保存会增加训练时长 |
Checkpoint保存间隔数 | 训练过程中保存Checkpoint的间隔Step数 |
loraRank | 训练方式选择LoRA时填写,LoRA策略中rank,数值越大lora参数越多。 |
loraAlpha | 训练方式选择LoRA时填写,LoRA微调中的缩放系数,系数越大lora影响力越大。 |
loraDropout | 训练方式选择LoRA时填写,LoRA微调中的Dropout系数,用于防止lora训练中的过拟合。 |
序列长度 | 单条样本的最大长度。如果训练数据较短,减少此项可以加快训练速度。 |
验证步数 | Validation Step,计算验证集Loss的间隔步数;为0时不开启验证,没有相关指标。 |
Qianfan-Chinese-Llama-2-13B-v1
Qianfan-Chinese-Llama-2-13b,千帆ModelBuilder团队在Llama-2-13b基础上的中文增强版本。
训练方法 | 简单描述 |
---|---|
全量更新 | 全量更新在训练过程中对大模型的全部参数进行更新 |
LoRA | 在固定预训练大模型本身的参数的基础上,在保留自注意力模块中原始权重矩阵的基础上,对权重矩阵进行低秩分解,训练过程中只更新低秩部分的参数。 |
- 参数配置
超参数 | 简单描述 |
---|---|
迭代轮次 | 迭代轮次(epoch),控制训练过程中的迭代轮数。 |
批处理大小 | 批处理大小(Batchsize)表示在每次训练迭代中使用的样本数。较大的批处理大小可以加速训练,但可能会导致内存问题。 |
学习率 | 学习率(learning_rate)是在梯度下降的过程中更新权重时的超参数,过高会导致模型难以收敛,过低则会导致模型收敛速度过慢,平台已给出默认推荐值,可根据经验调整。 |
Packing | 将多条训练样本拼接到一个seqLen长度内。 |
学习率调整计划 | 用于调整训练中学习率的变动方式。 |
学习率预热步数占比 | 指训练初始阶段,在学习率较低的情况下逐渐增加学习率的比例或速率,能够帮助模型更好地适应数据,提高训练的稳定性和性能。 |
权重衰减数值 | 是一种正则化技术,用于帮助控制神经网络模型的复杂性以及减少过拟合的风险。 |
Checkpoint保存个数 | 训练过程最终要保存的Checkpoint个数,Checkpoint保存会增加训练时长。 |
Checkpoint保存间隔数 | 训练过程中保存Checkpoint的间隔Step数。 |
loraRank | 训练方式选择LoRA时填写,LoRA策略中rank,数值越大lora参数越多。 |
loraAlpha | 训练方式选择LoRA时填写,LoRA微调中的缩放系数,系数越大lora影响力越大。 |
loraDropout | 训练方式选择LoRA时填写,LoRA微调中的Dropout系数,用于防止lora训练中的过拟合。 |
序列长度 | 单条样本的最大长度。如果训练数据较短,减少此项可以加快训练速度。 |
验证步数 | Validation Step,计算验证集Loss的间隔步数;为0时不开启验证,没有相关指标。 |
Qianfan-Chinese-Llama-2-7b-32K
千帆ModelBuilder团队在Qianfan-Chinese-Llama-2-7B基础上的增强版本,支持32K上下文
训练方法 | 简单描述 |
---|---|
全量更新 | 全量更新在训练过程中对大模型的全部参数进行更新 |
LoRA | 在固定预训练大模型本身的参数的基础上,在保留自注意力模块中原始权重矩阵的基础上,对权重矩阵进行低秩分解,训练过程中只更新低秩部分的参数。 |
- 参数配置
超参数 | 简单描述 |
---|---|
迭代轮次 | 迭代轮次(epoch),控制训练过程中的迭代轮数。 |
批处理大小 | 批处理大小(Batchsize)表示在每次训练迭代中使用的样本数。较大的批处理大小可以加速训练,但可能会导致内存问题。 |
学习率 | 学习率(learning_rate)是在梯度下降的过程中更新权重时的超参数,过高会导致模型难以收敛,过低则会导致模型收敛速度过慢,平台已给出默认推荐值,可根据经验调整。 |
Packing | 将多条训练样本拼接到一个seqLen长度内。 |
学习率调整计划 | 用于调整训练中学习率的变动方式。 |
学习率预热步数占比 | 指训练初始阶段,在学习率较低的情况下逐渐增加学习率的比例或速率,能够帮助模型更好地适应数据,提高训练的稳定性和性能。 |
权重衰减数值 | 是一种正则化技术,用于帮助控制神经网络模型的复杂性以及减少过拟合的风险。 |
Checkpoint保存个数 | 训练过程最终要保存的Checkpoint个数,Checkpoint保存会增加训练时长。 |
Checkpoint保存间隔数 | 训练过程中保存Checkpoint的间隔Step数。 |
loraRank | 训练方式选择LoRA时填写,LoRA策略中rank,数值越大lora参数越多。 |
loraAlpha | 训练方式选择LoRA时填写,LoRA微调中的缩放系数,系数越大lora影响力越大。 |
loraDropout | 训练方式选择LoRA时填写,LoRA微调中的Dropout系数,用于防止lora训练中的过拟合。 |
序列长度 | 单条样本的最大长度。如果训练数据较短,减少此项可以加快训练速度。 |
验证步数 | Validation Step,计算验证集Loss的间隔步数;为0时不开启验证,没有相关指标。 |
Qianfan-Chinese-Llama-2-1.3B
千帆ModelBuilder团队基于Llama2架构开发的13亿参数预训练大语言模型,在1T+tokens的高质量自有语料上从零开始训练,支持中英双语
训练方法 | 简单描述 |
---|---|
全量更新 | 全量更新在训练过程中对大模型的全部参数进行更新 |
- 参数配置
超参数 | 简单描述 |
---|---|
迭代轮次 | 迭代轮次(epoch),控制训练过程中的迭代轮数。 |
批处理大小 | 批处理大小(Batchsize)表示在每次训练迭代中使用的样本数。较大的批处理大小可以加速训练,但可能会导致内存问题。 |
学习率 | 学习率(learning_rate)是在梯度下降的过程中更新权重时的超参数,过高会导致模型难以收敛,过低则会导致模型收敛速度过慢,平台已给出默认推荐值,可根据经验调整。 |
Packing | 将多条训练样本拼接到一个seqLen长度内。 |
学习率调整计划 | 用于调整训练中学习率的变动方式。 |
学习率预热步数占比 | 指训练初始阶段,在学习率较低的情况下逐渐增加学习率的比例或速率,能够帮助模型更好地适应数据,提高训练的稳定性和性能。 |
权重衰减数值 | 是一种正则化技术,用于帮助控制神经网络模型的复杂性以及减少过拟合的风险。 |
序列长度 | 单条样本的最大长度。如果训练数据较短,减少此项可以加快训练速度。 |
Checkpoint保存个数 | 训练过程最终要保存的Checkpoint个数,Checkpoint保存会增加训练时长。 |
Checkpoint保存间隔数 | 训练过程中保存Checkpoint的间隔Step数。 |
验证步数 | Validation Step,计算验证集Loss的间隔步数;为0时不开启验证,没有相关指标。 |
·Mixtral-8x7B
由Mistral AI发布的首个高质量稀疏专家混合模型 (MOE),模型由8个70亿参数专家模型组成,在多个基准测试中表现优于Llama-2-70B及GPT3.5,能够处理32K上下文,在代码生成任务中表现尤为优异。
Mixtral-8x7B
单条数据支持32768 tokens。该版本为支持对话的微调版本。
训练方法 | 简单描述 |
---|---|
全量更新 | 全量更新在训练过程中对大模型的全部参数进行更新 |
- 参数配置
超参数 | 简单描述 |
---|---|
迭代轮次 | 迭代轮次(epoch),控制训练过程中的迭代轮数。 |
批处理大小 | 批处理大小(Batchsize)表示在每次训练迭代中使用的样本数。较大的批处理大小可以加速训练,但可能会导致内存问题。 |
学习率 | 学习率(learning_rate)是在梯度下降的过程中更新权重时的超参数,过高会导致模型难以收敛,过低则会导致模型收敛速度过慢,平台已给出默认推荐值,可根据经验调整。 |
Packing | 将多条训练样本拼接到一个seqLen长度内。 |
学习率调整计划 | 用于调整训练中学习率的变动方式。 |
学习率预热步数占比 | 指训练初始阶段,在学习率较低的情况下逐渐增加学习率的比例或速率,能够帮助模型更好地适应数据,提高训练的稳定性和性能。 |
权重衰减数值 | 是一种正则化技术,用于帮助控制神经网络模型的复杂性以及减少过拟合的风险。 |
Checkpoint保存个数 | 训练过程最终要保存的Checkpoint个数,Checkpoint保存会增加训练时长。 |
Checkpoint保存间隔数 | 训练过程中保存Checkpoint的间隔Step数。 |
序列长度 | 单条样本的最大长度。如果训练数据较短,减少此项可以加快训练速度。 |
验证步数 | Validation Step,计算验证集Loss的间隔步数;为0时不开启验证,没有相关指标。 |
·SQLCoder-7B
由Defog研发、基于Mistral-7B微调的语言模型,用于将自然语言问题转换为SQL语句,具备优秀的生成效果。
SQLCoder-7B
单条数据支持4096 tokens。由Defog研发、基于Mistral-7B微调的语言模型,用于将自然语言问题转换为SQL语句,具备优秀的生成效果。使用Apache 2.0、CC-BY-SA-4.0协议。根据CC-BY-SA-4.0协议要求,您需要将修改后的模型权重在CC-BY-SA-4.0license中开源。
训练方法 | 简单描述 |
---|---|
全量更新 | 全量更新在训练过程中对大模型的全部参数进行更新 |
LoRA | 在固定预训练大模型本身的参数的基础上,在保留自注意力模块中原始权重矩阵的基础上,对权重矩阵进行低秩分解,训练过程中只更新低秩部分的参数。 |
- 参数配置
超参数 | 简单描述 |
---|---|
迭代轮次 | 迭代轮次(epoch),控制训练过程中的迭代轮数。 |
批处理大小 | 批处理大小(Batchsize)表示在每次训练迭代中使用的样本数。较大的批处理大小可以加速训练,但可能会导致内存问题。 |
学习率 | 学习率(learning_rate)是在梯度下降的过程中更新权重时的超参数,过高会导致模型难以收敛,过低则会导致模型收敛速度过慢,平台已给出默认推荐值,可根据经验调整。 |
Packing | 将多条训练样本拼接到一个seqLen长度内。 |
学习率调整计划 | 用于调整训练中学习率的变动方式。 |
学习率预热步数占比 | 指训练初始阶段,在学习率较低的情况下逐渐增加学习率的比例或速率,能够帮助模型更好地适应数据,提高训练的稳定性和性能。 |
权重衰减数值 | 是一种正则化技术,用于帮助控制神经网络模型的复杂性以及减少过拟合的风险。 |
Checkpoint保存个数 | 训练过程最终要保存的Checkpoint个数,Checkpoint保存会增加训练时长。 |
Checkpoint保存间隔数 | 训练过程中保存Checkpoint的间隔Step数。 |
loraRank | 训练方式选择LoRA时填写,LoRA策略中rank,数值越大lora参数越多。 |
loraAlpha | 训练方式选择LoRA时填写,LoRA微调中的缩放系数,系数越大lora影响力越大。 |
loraDropout | 训练方式选择LoRA时填写,LoRA微调中的Dropout系数,用于防止lora训练中的过拟合。 |
序列长度 | 单条样本的最大长度。如果训练数据较短,减少此项可以加快训练速度。 |
验证步数 | Validation Step,计算验证集Loss的间隔步数;为0时不开启验证,没有相关指标。 |
ChatGLM
智谱AI与清华KEG实验室发布的中英双语对话模型,具备强大的推理性能、效果、较低的部署门槛及更长的上下文,在MMLU、CEval等数据集上相比初代有大幅的性能提升。
ChatGLM3-6B
单条数据支持4096 tokens。相比前两代,具备更强大的基础模型能力。目前仅支持Prompt+Response数据格式。
训练方法 | 简单描述 |
---|---|
全量更新 | 全量更新在训练过程中对大模型的全部参数进行更新 |
LoRA | 在固定预训练大模型本身的参数的基础上,在保留自注意力模块中原始权重矩阵的基础上,对权重矩阵进行低秩分解,训练过程中只更新低秩部分的参数。 |
- 参数配置
超参数 | 简单描述 |
---|---|
迭代轮次 | 迭代轮次(epoch),控制训练过程中的迭代轮数。 |
批处理大小 | 批处理大小(Batchsize)表示在每次训练迭代中使用的样本数。较大的批处理大小可以加速训练,但可能会导致内存问题。 |
学习率 | 学习率(learning_rate)是在梯度下降的过程中更新权重时的超参数,过高会导致模型难以收敛,过低则会导致模型收敛速度过慢,平台已给出默认推荐值,可根据经验调整。 |
Packing | 将多条训练样本拼接到一个seqLen长度内。 |
学习率调整计划 | 用于调整训练中学习率的变动方式。 |
学习率预热步数占比 | 指训练初始阶段,在学习率较低的情况下逐渐增加学习率的比例或速率,能够帮助模型更好地适应数据,提高训练的稳定性和性能。 |
权重衰减数值 | 是一种正则化技术,用于帮助控制神经网络模型的复杂性以及减少过拟合的风险。 |
Checkpoint保存个数 | 训练过程最终要保存的Checkpoint个数,Checkpoint保存会增加训练时长。 |
Checkpoint保存间隔数 | 训练过程中保存Checkpoint的间隔Step数。 |
loraRank | 训练方式选择LoRA时填写,LoRA策略中rank,数值越大lora参数越多。 |
loraAlpha | 训练方式选择LoRA时填写,LoRA微调中的缩放系数,系数越大lora影响力越大。 |
loraDropout | 训练方式选择LoRA时填写,LoRA微调中的Dropout系数,用于防止lora训练中的过拟合。 |
序列长度 | 单条样本的最大长度。如果训练数据较短,减少此项可以加快训练速度。 |
验证步数 | Validation Step,计算验证集Loss的间隔步数;为0时不开启验证,没有相关指标。 |
ChatGLM2-6B-32K
支持长文本模型调优,具备长文本的生成效果。
训练方法 | 简单描述 |
---|---|
全量更新 | 全量更新在训练过程中对大模型的全部参数进行更新 |
- 参数配置
超参数 | 简单描述 |
---|---|
迭代轮次 | 迭代轮次(epoch),控制训练过程中的迭代轮数。 |
批处理大小 | 批处理大小(Batchsize)表示在每次训练迭代中使用的样本数。较大的批处理大小可以加速训练,但可能会导致内存问题。 |
学习率 | 学习率(learning_rate)是在梯度下降的过程中更新权重时的超参数,过高会导致模型难以收敛,过低则会导致模型收敛速度过慢,平台已给出默认推荐值,可根据经验调整。 |
Packing | 将多条训练样本拼接到一个seqLen长度内。 |
学习率调整计划 | 用于调整训练中学习率的变动方式。 |
学习率预热步数占比 | 指训练初始阶段,在学习率较低的情况下逐渐增加学习率的比例或速率,能够帮助模型更好地适应数据,提高训练的稳定性和性能。 |
权重衰减数值 | 是一种正则化技术,用于帮助控制神经网络模型的复杂性以及减少过拟合的风险。 |
Checkpoint保存个数 | 训练过程最终要保存的Checkpoint个数,Checkpoint保存会增加训练时长。 |
Checkpoint保存间隔数 | 训练过程中保存Checkpoint的间隔Step数。 |
序列长度 | 单条样本的最大长度。如果训练数据较短,减少此项可以加快训练速度。 |
验证步数 | Validation Step,计算验证集Loss的间隔步数;为0时不开启验证,没有相关指标。 |
ChatGLM2-6B
单条数据支持4096 tokens。
训练方法 | 简单描述 |
---|---|
全量更新 | 全量更新在训练过程中对大模型的全部参数进行更新 |
LoRA | 在固定预训练大模型本身的参数的基础上,在保留自注意力模块中原始权重矩阵的基础上,对权重矩阵进行低秩分解,训练过程中只更新低秩部分的参数。 |
- 参数配置
超参数 | 简单描述 |
---|---|
迭代轮次 | 迭代轮次(epoch),控制训练过程中的迭代轮数。 |
批处理大小 | 批处理大小(Batchsize)表示在每次训练迭代中使用的样本数。较大的批处理大小可以加速训练,但可能会导致内存问题。 |
学习率 | 学习率(learning_rate)是在梯度下降的过程中更新权重时的超参数,过高会导致模型难以收敛,过低则会导致模型收敛速度过慢,平台已给出默认推荐值,可根据经验调整。 |
Packing | 将多条训练样本拼接到一个seqLen长度内。 |
学习率调整计划 | 用于调整训练中学习率的变动方式。 |
学习率预热步数占比 | 指训练初始阶段,在学习率较低的情况下逐渐增加学习率的比例或速率,能够帮助模型更好地适应数据,提高训练的稳定性和性能。 |
权重衰减数值 | 是一种正则化技术,用于帮助控制神经网络模型的复杂性以及减少过拟合的风险。 |
Checkpoint保存个数 | 训练过程最终要保存的Checkpoint个数,Checkpoint保存会增加训练时长。 |
Checkpoint保存间隔数 | 训练过程中保存Checkpoint的间隔Step数。 |
loraRank | 训练方式选择LoRA时填写,LoRA策略中rank,数值越大lora参数越多。 |
loraAlpha | 训练方式选择LoRA时填写,LoRA微调中的缩放系数,系数越大lora影响力越大。 |
loraDropout | 训练方式选择LoRA时填写,LoRA微调中的Dropout系数,用于防止lora训练中的过拟合。 |
序列长度 | 单条样本的最大长度。如果训练数据较短,减少此项可以加快训练速度。 |
验证步数 | Validation Step,计算验证集Loss的间隔步数;为0时不开启验证,没有相关指标。 |
·Baichuan2
Baichuan2是百川智能推出的新一代开源大语言模型。
Baichuan2-7B-Chat
单条数据支持4096 tokens。Baichuan2-7B-Chat 是在大约 1.2 万亿 tokens 上训练的 70 亿参数模型。
训练方法 | 简单描述 |
---|---|
全量更新 | 全量更新在训练过程中对大模型的全部参数进行更新 |
LoRA | 在固定预训练大模型本身的参数的基础上,在保留自注意力模块中原始权重矩阵的基础上,对权重矩阵进行低秩分解,训练过程中只更新低秩部分的参数。 |
- 参数配置
超参数 | 简单描述 |
---|---|
迭代轮次 | 迭代轮次(epoch),控制训练过程中的迭代轮数。 |
学习率 | 学习率(learning_rate)是在梯度下降的过程中更新权重时的超参数,过高会导致模型难以收敛,过低则会导致模型收敛速度过慢,平台已给出默认推荐值,可根据经验调整。 |
Packing | 将多条训练样本拼接到一个seqLen长度内。 |
学习率调整计划 | 用于调整训练中学习率的变动方式。 |
学习率预热步数占比 | 指训练初始阶段,在学习率较低的情况下逐渐增加学习率的比例或速率,能够帮助模型更好地适应数据,提高训练的稳定性和性能。 |
权重衰减数值 | 是一种正则化技术,用于帮助控制神经网络模型的复杂性以及减少过拟合的风险。 |
Checkpoint保存个数 | 训练过程最终要保存的Checkpoint个数,Checkpoint保存会增加训练时长。 |
Checkpoint保存间隔数 | 训练过程中保存Checkpoint的间隔Step数。 |
loraRank | 训练方式选择LoRA时填写,LoRA策略中rank,数值越大lora参数越多。 |
loraAlpha | 训练方式选择LoRA时填写,LoRA微调中的缩放系数,系数越大lora影响力越大。 |
loraDropout | 训练方式选择LoRA时填写,LoRA微调中的Dropout系数,用于防止lora训练中的过拟合。 |
序列长度 | 单条样本的最大长度。如果训练数据较短,减少此项可以加快训练速度。 |
验证步数 | Validation Step,计算验证集Loss的间隔步数;为0时不开启验证,没有相关指标。 |
Baichuan2-13B-Chat
单条数据支持4096 tokens。Baichuan2-13B-Chat采用2.6万亿Tokens的高质量语料训练。
训练方法 | 简单描述 |
---|---|
全量更新 | 全量更新在训练过程中对大模型的全部参数进行更新 |
LoRA | 在固定预训练大模型本身的参数的基础上,在保留自注意力模块中原始权重矩阵的基础上,对权重矩阵进行低秩分解,训练过程中只更新低秩部分的参数。 |
- 参数配置
超参数 | 简单描述 |
---|---|
迭代轮次 | 迭代轮次(epoch),控制训练过程中的迭代轮数。 |
学习率 | 学习率(learning_rate)是在梯度下降的过程中更新权重时的超参数,过高会导致模型难以收敛,过低则会导致模型收敛速度过慢,平台已给出默认推荐值,可根据经验调整。 |
Packing | 将多条训练样本拼接到一个seqLen长度内。 |
学习率调整计划 | 用于调整训练中学习率的变动方式。 |
学习率预热步数占比 | 指训练初始阶段,在学习率较低的情况下逐渐增加学习率的比例或速率,能够帮助模型更好地适应数据,提高训练的稳定性和性能。 |
权重衰减数值 | 是一种正则化技术,用于帮助控制神经网络模型的复杂性以及减少过拟合的风险。 |
Checkpoint保存个数 | 训练过程最终要保存的Checkpoint个数,Checkpoint保存会增加训练时长。 |
Checkpoint保存间隔数 | 训练过程中保存Checkpoint的间隔Step数。 |
loraRank | 训练方式选择LoRA时填写,LoRA策略中rank,数值越大lora参数越多。 |
loraAlpha | 训练方式选择LoRA时填写,LoRA微调中的缩放系数,系数越大lora影响力越大。 |
loraDropout | 训练方式选择LoRA时填写,LoRA微调中的Dropout系数,用于防止lora训练中的过拟合。 |
序列长度 | 单条样本的最大长度。如果训练数据较短,减少此项可以加快训练速度。 |
验证步数 | Validation Step,计算验证集Loss的间隔步数;为0时不开启验证,没有相关指标。 |
·BLOOMZ-7B
知名的大语言模型,由HuggingFace研发并开源,能够以46种语言和13种编程语言输出文本。
训练方法 | 简单描述 |
---|---|
全量更新 | 全量更新在训练过程中对大模型的全部参数进行更新 |
LoRA | 在固定预训练大模型本身的参数的基础上,在保留自注意力模块中原始权重矩阵的基础上,对权重矩阵进行低秩分解,训练过程中只更新低秩部分的参数。 |
- 参数配置
超参数 | 简单描述 |
---|---|
迭代轮次 | 迭代轮次(epoch),控制训练过程中的迭代轮数。 |
批处理大小 | 批处理大小(Batchsize)表示在每次训练迭代中使用的样本数。较大的批处理大小可以加速训练,但可能会导致内存问题。 |
学习率 | 学习率(learning_rate)是在梯度下降的过程中更新权重时的超参数,过高会导致模型难以收敛,过低则会导致模型收敛速度过慢,平台已给出默认推荐值,可根据经验调整。 |
Packing | 将多条训练样本拼接到一个seqLen长度内。 |
学习率调整计划 | 用于调整训练中学习率的变动方式。 |
学习率预热步数占比 | 指训练初始阶段,在学习率较低的情况下逐渐增加学习率的比例或速率,能够帮助模型更好地适应数据,提高训练的稳定性和性能。 |
权重衰减数值 | 是一种正则化技术,用于帮助控制神经网络模型的复杂性以及减少过拟合的风险。 |
Checkpoint保存个数 | 训练过程最终要保存的Checkpoint个数,Checkpoint保存会增加训练时长。 |
Checkpoint保存间隔数 | 训练过程中保存Checkpoint的间隔Step数。 |
loraRank | 训练方式选择LoRA时填写,LoRA策略中rank,数值越大lora参数越多。 |
loraAlpha | 训练方式选择LoRA时填写,LoRA微调中的缩放系数,系数越大lora影响力越大。 |
loraDropout | 训练方式选择LoRA时填写,LoRA微调中的Dropout系数,用于防止lora训练中的过拟合。 |
验证步数 | Validation Step,计算验证集Loss的间隔步数;为0时不开启验证,没有相关指标。 |
·CodeLlama-7B
由Meta AI研发并开源的一系列文本生成模型,旨在用于一般代码合成和理解。单条数据支持4096 tokens。由Meta AI研发并开源的一系列文本生成模型,旨在用于一般代码合成和理解,模型参数规模为70亿。
训练方法 | 简单描述 |
---|---|
全量更新 | 全量更新在训练过程中对大模型的全部参数进行更新 |
LoRA | 在固定预训练大模型本身的参数的基础上,在保留自注意力模块中原始权重矩阵的基础上,对权重矩阵进行低秩分解,训练过程中只更新低秩部分的参数。 |
- 参数配置
超参数 | 简单描述 |
---|---|
迭代轮次 | 迭代轮次(epoch),控制训练过程中的迭代轮数。 |
批处理大小 | 批处理大小(Batchsize)表示在每次训练迭代中使用的样本数。较大的批处理大小可以加速训练,但可能会导致内存问题。 |
学习率 | 学习率(learning_rate)是在梯度下降的过程中更新权重时的超参数,过高会导致模型难以收敛,过低则会导致模型收敛速度过慢,平台已给出默认推荐值,可根据经验调整。 |
Packing | 将多条训练样本拼接到一个seqLen长度内。 |
学习率调整计划 | 用于调整训练中学习率的变动方式。 |
学习率预热步数占比 | 指训练初始阶段,在学习率较低的情况下逐渐增加学习率的比例或速率,能够帮助模型更好地适应数据,提高训练的稳定性和性能。 |
权重衰减数值 | 是一种正则化技术,用于帮助控制神经网络模型的复杂性以及减少过拟合的风险。 |
Checkpoint保存个数 | 训练过程最终要保存的Checkpoint个数,Checkpoint保存会增加训练时长。 |
Checkpoint保存间隔数 | 训练过程中保存Checkpoint的间隔Step数。 |
loraTargetModules | 训练方式选择LoRA时填写,LoRA参数层列表 |
loraRank | 训练方式选择LoRA时填写,LoRA策略中rank,数值越大lora参数越多。 |
loraAlpha | 训练方式选择LoRA时填写,LoRA微调中的缩放系数,系数越大lora影响力越大。 |
loraDropout | 训练方式选择LoRA时填写,LoRA微调中的Dropout系数,用于防止lora训练中的过拟合。 |
序列长度 | 单条样本的最大长度。如果训练数据较短,减少此项可以加快训练速度。 |
验证步数 | Validation Step,计算验证集Loss的间隔步数;为0时不开启验证,没有相关指标。 |
数据配置
训练任务的选择数据及相关配置,大模型调优任务需要匹配多轮对话-非排序类的数据集。至少需要100条数据才可发起训练。
- 数据1 x 采样率1 大于100条时,允许提交,即便数据1小于100
- 数据1x 采样率1+数据2 x 采样率2 大于100条时,允许提交,即便数据1、数据2的和小于100
-
数据1 x 采样率1+千帆混合语料大于100条时允许提交
数据集来源可以为本平台已发布的数据集版本、BOS存储中的数据集或者预置数据集,如果平台没有您准备好的训练数据,您也可以选择创建数据集并发布,选择两个及以上的数据集,支持数据配比,数据占比总和等于100%。
您可以通过提高采样率,来提升数据集的占比。 采样率(按照字符数计算占比):对数据集进⾏随机采样,取值范围为[0.01-10]。当数据集过⼤或质量不⾼,可以利⽤⽋采样(采样率⼩于1)来缩减训练数据的⼤⼩;当数据集过⼩或质量较⾼,可以利⽤过采样(采样率⼤于1)来增加训练数据的⼤⼩,数值越⼤训练时对该部分数据的关注度越⾼,但训练时⻓及费⽤越⾼,推荐过采样率范围为[1-5]。
混合训练:支持用户使用自身数据与通用语料数据混合训练,其中包含多行业、多维度的通用语料数据由本平台提供。
注意:开启数据配比后,会增加整体训练tokens数,参与计费。
通用语料数据共四百万条问答对,请您根据自身数据量进行配比,推荐默认选择的数据配比为混合语料:用户数据=1:5
测试集:您可以选择对上面已选择的数据集进行拆分作为测试集,或者指定数据作为测试集。
- 数据拆分比例:比如设置20,则表示选定数据集版本总数的80%作为训练集,20%作为验证集。
- 平台数据集:需要选择多轮对话-非排序类的数据集。最多支持1000条数据用于测试。如果数据集大于1000条,将取前1000条数据做测试集。
若数据集保存在BOS中,请勿在提交任务后修改BOS数据。修改后可能会导致任务失败!
需注意:当选择BOS目录导入数据集时,数据放在jsonl文件夹下。您需要选择jsonl的父目录:
- 奖励模型支持单轮对话、多轮对话有排序数据。
- SFT支持单轮对话,多轮对话需要有标注数据。
- BOS目录导入数据要严格遵守其格式要求,如不符合此格式要求,训练作业无法成功开启。详情参考BOS导入无标注信息格式和BOS导入有标注信息格式。
另外本训练任务支持您选择开启闲时训练,任务提交后,等待平台资源空闲时进行调度。不保证资源的独占,训练过程中可能会被抢占。适合对时效性要求不高的任务。其支持范围和价格可查看闲时训练计费明细
以上所有操作完成后,点击“开始训练”,则发起模型训练的任务。
发布模型
开启“自动发布”按钮后,模型在训练完成后会自动发布;若模型训练失败,则不自动发布模型。
PS:模型在训练过程中被删除、模型名称重复、模型版本重复都不会自动发布模型。
文生图大模型
新建运行
您可以在创建作业完成后,在SFT任务列表,选择指定任务的“新建任务”按钮。
进入模型训练的任务运行配置页,查看基本信息。
训练配置
如您直接创建SFT作业,可以调整大模型参数,选择基本配置。
- 在SFT训练任务中,可以选择开启增量训练开关。
开关打开后,需要选择SFT的基准模型,此模型来源于运行中的SFT任务。所以您开启增量训练任务的前提有已经在运行中的SFT任务。
为保证增量训练效果,开启增量训练后默认选取10%训练基准模型的数据混合进行训练
注意:基础模型继承基准模型(全量更新所得)版本,所以当您选定基准模型后,基础模型及版本不可变更。
- 您也可以选择直接不使用增量训练,这样直接在基础模型上进行SFT。
·Stable_diffusion XL 1.0
业内知名的跨模态大模型,由StabilityAI研发并开源,有着业内领先的图像生成能力。
训练方法 | 简单描述 |
---|---|
LoRA | 在固定预训练大模型本身的参数的基础上,在保留自注意力模块中原始权重矩阵的基础上,对权重矩阵进行低秩分解,训练过程中只更新低秩部分的参数。 |
- 参数配置
超参数 | 简单描述 |
---|---|
迭代轮次 | 迭代轮次(epoch),控制训练过程中的迭代轮数。 |
批处理大小 | 批处理大小(Batchsize)表示在每次训练迭代中使用的样本数。较大的批处理大小可以加速训练,但可能会导致内存问题。 |
学习率 | 学习率(learning_rate)是在梯度下降的过程中更新权重时的超参数,过高会导致模型难以收敛,过低则会导致模型收敛速度过慢,平台已给出默认推荐值,可根据经验调整。 |
·文心一格
百度自主研发的跨模态图像生成大模型,创新知识增强的混合专家建模,是全球首个知识增强的AI作画大模型,在语义控制、图像细节、中文理解等方面优势显著,已作为基础模型应用在文心一格等相关业务上。
训练方法 | 简单描述 |
---|---|
全量更新 | 全量更新在训练过程中对大模型的全部参数进行更新 |
- 参数配置
超参数 | 简单描述 |
---|---|
迭代轮次 | 迭代轮次(Epoch),控制训练过程中的迭代轮数。可以根据数据规模适当调整Epoch大小。 |
批处理大小 | 批处理大小(Batchsize)表示在每次训练迭代中使用的样本数。较大的批处理大小可以加速训练,但可能会导致内存问题。 |
学习率 | 学习率(learning_rate)是在梯度下降的过程中更新权重时的超参数,过高会导致模型难以收敛,过低则会导致模型收敛速度过慢,平台已给出默认推荐值,可根据经验调整。 |
数据配置
训练任务的选择数据及相关配置,支持选择该模型可使用的数据。
文生图大模型调优任务需要选择图片类型的数据集,且数据集个数应为10-2000张图片,若大于2000张,将会随机选择2000张作为训练数据。
数据集来源可以为本平台已发布的数据集版本,也可以为已有数据集的BOS地址,详细内容可查看数据集部分内容。
数据拆分比例:比如设置20,则表示选定数据集版本总数的80%作为训练集,20%作为验证集。
资源配置
文生图大模型支持将训练加入GPU,当前默认规格如下:
以上所有内容完成后,即可发起模型训练任务。
关于训练费用可查看价格文档。大模型训练模块会根据数据集大小,预估训练时长,其中最小计量粒度为0.01小时,不足0.01小时按0.01小时计算。
发布模型
开启“自动发布”按钮后,模型在训练完成后会自动发布;若模型训练失败,则不自动发布模型。
PS:模型在训练过程中被删除、模型名称重复、模型版本重复都不会自动发布模型。
图理解大模型
您可以通过【模型精调】-【SFT】-【创建训练作业】来从零创建图理解SFT作业。在该创建页面,有不同配置模块,包括基本信息、训练配置、数据配置、资源配置、发布模型等,完成上述各项配置后,即可完成整个训练作业的创建。
在【基本信息】模块,您可以设置作业的名称等信息,并选择训练使用的基础模型和其版本。其他模块的详细配置教程请见下文。
创建方式上,除了从零创建,您也可以在创建作业完成后,在SFT任务列表,点击指定任务的【新建任务】按钮,创建新的SFT任务,这将创建相同模型的不同版本作业。
该页面下,部分信息无法更改,其余可正常配置。
训练配置
训练配置模块包含增量训练、训练方法、参数配置几项设置。您可以先进行增量训练配置,然后根据您在基本信息模块选用的基础模型及版本,从下方找到对应模型版本的训练方法和参数介绍,然后配置。
增量训练
在SFT训练任务中,可以选择开启增量训练开关。开关打开后,需要选择SFT的基准模型,此模型来源于运行中的SFT任务。所以您开启增量训练任务的前提是有已经在运行中的SFT任务。请注意:基础模型继承基准模型(全量更新所得)版本,所以当您选定基准模型后,基础模型及版本不可变更。为保证增量训练效果,开启增量训练后默认选取10%训练基准模型的数据混合进行训练。
您也可以选择不使用增量训练,直接在基础模型上进行SFT。
训练方法和参数配置
请根据您在基本信息模块选用的基础模型及版本,从下方找到对应模型版本的训练方法和参数介绍,然后配置。
·LLaVA
LLaVA模型是多模态大模型,是Haotian Liu等人基于Vicuna/Llama等大模型使用多模态数据训练得到。
LLaVA-v1.6-13B
LLaVA-v1.6-13B 是基于Vicuna-13B模型训练得到,在多个benchmark数据集上表现优异。该模型仅供研究使用,需要遵循模型许可。
- 训练方法
训练方法 | 简单描述 |
---|---|
全量更新 | 全量更新在训练过程中对大模型的全部参数进行更新 |
LoRA | 在固定预训练大模型本身的参数的基础上,在保留自注意力模块中原始权重矩阵的基础上,对权重矩阵进行低秩分解,训练过程中只更新低秩部分的参数。 |
- 参数配置
超参数 | 简单描述 |
---|---|
迭代轮次 | 迭代轮次(epoch),控制训练过程中的迭代轮数。 |
学习率 | 学习率(learning_rate)是在梯度下降的过程中更新权重时的超参数,过高会导致模型难以收敛,过低则会导致模型收敛速度过慢,平台已给出默认推荐值,可根据经验调整。 |
验证步数 | Validation Step,计算验证集Loss的间隔步数;为0时不开启验证,没有相关指标。 |
批处理大小 | 批处理大小(Batchsize)表示在每次训练迭代中使用的样本数。较大的批处理大小可以加速训练,但可能会导致内存问题。 |
学习率调整计划 | 学习率调整计划(schedulerName),用于调整训练中学习率的变动方式。 |
学习率预热步数占比 | 学习率预热步数占比(warmupRatio),指训练初始阶段,在学习率较低的情况下逐渐增加学习率的比例。 |
权重衰减数值 | 权重衰减数值(weightDecay),是一种正则化技术,用于帮助控制神经网络模型的复杂性以及减少过拟合的风险。 |
loraRank | 训练方式选择LoRA时填写,LoRA策略中rank,数值越大lora参数越多。 |
loraAlpha | 训练方式选择LoRA时填写,LoRA微调中的缩放系数,系数越大lora影响力越大。 |
序列长度 | 序列长度(seqLen),单条样本的最大长度。如果训练数据较短,减少此项可以加快训练速度。 |
Checkpoint保存个数 | 训练过程最终要保存的Checkpoint个数,Checkpoint保存会增加训练时长。 |
Checkpoint保存间隔数 | 训练过程中保存Checkpoint的间隔Step数。 |
数据配置
训练任务的选择数据及相关配置,支持选择该模型可使用的数据。
图像理解SFT需选择Prompt+Image+Response的数据集。目前一条数据中仅支持单张图片。
数据集来源为本平台已发布的数据集版本,也可以为已有数据集的BOS地址,详细内容可查看数据集部分内容。
数据拆分比例:比如设置20,则表示选定数据集版本总数的80%作为训练集,20%作为验证集。取值范围为[0-20]。默认取值为5,即验证集占比为5%,训练集占比95%。最多支持1000条数据用于测试。如果数据集大于1000条,将取前1000条数据做验证集。验证集参与计费,价格同训练计费的定价。
百度BOS服务开通申请。
发布模型
开启“自动发布”按钮后,模型在训练完成后会自动发布;若模型训练失败,则不自动发布模型。
PS:模型在训练过程中被删除、模型名称重复、模型版本重复都不会自动发布模型。