创建Post-pretrain任务
目录
大模型预训练是开发者可以基于大量的无标注数据使用Post-pretrain的方式训练出一个定制的预训练模型。
在Post-pretrain任务中调优预训练模型提升模型效果,完成预训练后,可以在SFT调优预训练模型。
登录到千帆大模型操作台,在左侧功能列选择Post-pretrain,进入大模型预训练的主任务界面。
创建任务
您需要在Post-pretrain任务界面,选择“创建训练任务”按钮。如在任务列表中已有运行中的任务,新建模型以已创建运行的最新运行使用的模型和版本为基准,不可切换基础模型。
基本信息
填写好任务名称和500字内的业务描述,并选择训练需要的基础模型版本。
训练配置
训练配置大模型参数,调整好基本配置。
- 在Post-pretrain训练任务中,可以选择开启增量训练开关
开关打开后,需要选择Post-pretrain的基准模型,此模型来源于运行中的Post-pretrain任务。所以您开启增量训练任务的前提有已经在运行中的Post-pretrain任务。
当前仅支持选择三个月内训练的模型发起增量训练。
注意:基础模型继承基准模型版本,所以当您选定基准模型后,基础模型及版本不可变更。
- 您也可以选择直接不使用增量训练,这样直接在基础模型上进行Post-pretrain。
·ERNIE Speed
百度自主研发的文心产业级知识增强大语言模型(高性能版),相较ERNIE Lite实现了基础模型的全面升级,在理解、生成、逻辑和记忆能力上有显著提升。
ERNIE-Speed-8K
单条数据支持8192 tokens。模型基于海量高质量数据训练,具有更强的文本理解、内容创作、对话问答等能力。
- 参数配置
超参数 | 简单描述 |
---|---|
迭代轮次 | 迭代轮次(epoch),控制训练过程中的迭代轮数。 |
学习率 | 学习率(learning_rate)是在梯度下降的过程中更新权重时的超参数,过高会导致模型难以收敛,过低则会导致模型收敛速度过慢,平台已给出默认推荐值,可根据经验调整。 |
序列长度 | 单条数据的长度,单位为token。如果数据集中每条数据的长度(输入)都在4096 tokens 以内,建议选择4096,针对短序列可以达到更优的训练效果。 |
梯度累计步数 | 梯度累计步数,0为不指定自动计算 |
Checkpoint保存个数 | 训练过程最终要保存的Checkpoint个数,Checkpoint保存会增加训练时长 |
Checkpoint保存间隔数 | 训练过程中保存Checkpoint的间隔Step数 |
·ERNIE Lite
百度自行研发的大语言模型,覆盖海量中文数据,具有更强的对话问答、内容创作生成等能力。
ERNIE-Lite-8K-0922
单条数据支持8192 tokens。支持大规模训练任务的断点续跑和数据恢复能力。
- 参数配置
超参数 | 简单描述 |
---|---|
迭代轮次 | 迭代轮次(epoch),控制训练过程中的迭代轮数。 |
学习率 | 学习率(learning_rate)是在梯度下降的过程中更新权重时的超参数,过高会导致模型难以收敛,过低则会导致模型收敛速度过慢,平台已给出默认推荐值,可根据经验调整。 |
序列长度 | 单条数据的长度,单位为token。如果数据集中每条数据的长度(输入)都在4096 tokens 以内,建议选择4096,针对短序列可以达到更优的训练效果。 |
梯度累计步数 | 梯度累计步数,0为不指定自动计算 |
Checkpoint保存个数 | 训练过程最终要保存的Checkpoint个数,Checkpoint保存会增加训练时长 |
Checkpoint保存间隔数 | 训练过程中保存Checkpoint的间隔Step数 |
·Llama-2
Llama 是Meta AI推出的开源大语言模型。千帆团队在开源模型基础上做了中文增强。
Qianfan-Chinese-Llama-2-13B-v1
单条数据支持4096 tokens。Qianfan-Chinese-Llama-2-13B-v1,千帆团队在Llama-2-13b基础上的中文增强版本。
- 参数配置
超参数 | 简单描述 |
---|---|
迭代轮次 | 迭代轮次(epoch),控制训练过程中的迭代轮数。 |
学习率 | 学习率(learning_rate)是在梯度下降的过程中更新权重时的超参数,过高会导致模型难以收敛,过低则会导致模型收敛速度过慢,平台已给出默认推荐值,可根据经验调整。 |
正则化系数 | 权重衰减数值,用于控制过拟合。 |
梯度累计步数 | 梯度累计步数,0为不指定自动计算 |
Checkpoint保存个数 | 训练过程最终要保存的Checkpoint个数,Checkpoint保存会增加训练时长 |
Checkpoint保存间隔数 | 训练过程中保存Checkpoint的间隔Step数 |
数据配置
训练任务的选择数据及相关配置,大模型调优任务需要匹配泛文本无标注的数据集。
数据集来源可以为千帆平台已发布的数据集版本或者预置数据集,内测用户已有数据集的BOS地址,详细内容可查看数据集部分内容,如果选择两个及以上的数据集,支持数据配比,数据占比总和等于100%。 您可以通过提高采样率,来提升数据集的占比。 采样率:对数据集进⾏随机采样,取值范围为[0.01-10]。当数据集过⼤或质量不⾼,可以利⽤⽋采样(采样率⼩于1)来缩减训练数据的⼤⼩;当数据集过⼩或质量较⾼,可以利⽤过采样(采样率⼤于1)来增加训练数据的⼤⼩,数值越⼤训练时对该部分数据的关注度越⾼,但训练时⻓及费⽤越⾼,推荐过采样率范围为[1-5]。
需注意:任务运行推荐数据量至少10亿tokens,如您试用的话,则推荐1千万tokens及以上的数据量。
混合训练:支持用户使用自身数据与通用语料数据混合训练,其中包含多行业、多维度的通用语料数据由千帆大模型平台提供。
注意:开启数据配比后,会增加整体训练tokens数,参与计费。
总通用语料共100B tokens,混入比例的取值范围为[0-100]%。根据经验,我们推荐混入的通用语料为所选数据集的5倍,因此这里默认以该占比推荐出混入通用语料比例。请您根据自身数据量进行配比:
数据拆分比例:比如设置20,则表示选定数据集版本总数的80%作为训练集,20%作为验证集。
若数据集保存在BOS中,请勿在提交任务后修改BOS数据。修改后可能会导致任务失败!
内测用户百度BOS服务开通申请,关于训练费用可查看价格文档。
以上所有操作完成后,点击“开始训练”,则发起模型训练的任务。
需要注意的是:Post-pretrain训练任务规模大,任务需要后台审核后才能开启。另外,数据量至少10亿tokens,如您试用的话,则1千万tokens及以上的数据量会凸显训练效果。