创建我的模型
更新时间:2024-04-18
目录
用户模型简介
“我的模型”纳管了用户训练、压缩生成的大模型或导入的第三方格式模型。
一个用户模型可以包含多个版本,可以从版本维度对模型进行评估、压缩和部署等操作。
平台训练的模型可以通过“模型发布”或“创建模型”,在“我的模型”下进行纳管,而压缩生成的模型则是在压缩完成后直接发布。
以下是平台训练模型创建的步骤:
模型创建步骤
登录到千帆大模型操作台,在左侧功能列模型管理中选择我的模型,进入创建模型的主任务界面。
- 点击“创建模型”按钮,进行模型新建;
- 填写模型的基本信息,包括以下内容:
- 模型名称:自定义的模型名称,支持中文、英文、数字、下划线(_),2-20个字符以内,不能以下划线为开头。
- 模型类型:平台支持大语言模型或文生图大模型。
- 业务标签:非必填,您可通过业务标签来标记模型适用的业务范围,模型列表页支持对业务标签的模糊搜索。
- 选择已完成的训练任务及运行或直接导入第三方模型,创建一个新的模型版本,具体字段包括:
- 模型版本:平台自动生成,版本号从V1起递增。
- 模型版本描述:非必填项,自定义的版本描述,记录模型的业务场景、使用方式等信息。
- 模型来源分为大模型训练任务和对象存储BOS。
模型类型为大语言模型
选择模型来源为大模型训练任务
- 模型训练方式:必选项,可选大模型调优或RLHF-强化学习训练方式,相关内容参考SFT使用说明及强化学习使用说明。
- 训练任务:必选项,选择相应模型训练方式的训练任务。新增模型版本时,模型下各版本的基础模型需保持一致,该选项将默认过滤不符合要求的训练任务。
- 运行名称:必选项,选择相应训练任务中已完成的运行的名称。
- 基础模型映射规则:
模型层面 | 模型版本层面 |
---|---|
ERNIE Lite | 1. ERNIE-Lite-8K-0922 2. ERNIE-Lite-8K-0725 3. ERNIE-Lite-4K-0704 4. ERNIE-Lite-4K-0516 |
Llama-2-7B | Qianfan-Chinese-Llama-2-7B |
Llama-2-13B | Qianfan-Chinese-Llama-2-13B |
SQLCoder-7B | SQLCoder-7B |
ChatGLM2-6B | 1. ChatGLM2-6B 2. ChatGLM2-6B-32K |
Baichuan2-7B | Baichuan2-7B-Chat |
Baichuan2-13B | Baichuan2-13B-Chat |
BLOOMZ-7B | BLOOMZ-7B |
Stable-Diffusion-XL | Stable-Diffusion-XL-Base-1.0 |
选择模型来源为对象存储BOS
需要您提前开通对象存储BOS服务,快速上手模型导入流程,可参考快速导入并部署第三方模型文档说明,支持导入ERNIE系列模型和HF系列模型。
- Bucket:选择对象存储BOS中模型所属的Bucket。
- 文件夹:请选择模型所在的⽂件夹,⽬录内最多不能超过1000个⽂件,否则可能导⼊失败。关于文件上传的详细操作可参考相关指导。
- 模型格式:大语言模型以HuggingFace > Transformers为例,其目录架构如下
模型目录/
├── config.json
├── tokenizer_config.json
├── pytorch_model.bin
├── .......
-
输入输出格式:
- 续写模式:适用Pretrain或Post-Pretrain Base模型。
- 对话模式:对话模式适用经过指令精调的Chat模型。
Prompt拼接规范可以选择【平台预置规范】和【自定义规范】,详细操作可见指导说明。
平台预置规范:平台将根据以下配置自动拼接当前用户问题和历史轮次问答,方便用户在线测试或接入对话类应用。
1)当前问题拼接规范:按此处规范自动将当前用户问题拼接至Prompt中;{question}变量对应用户最新一轮问题。为尽可能保证模型效果,此处拼接规范应与模型精调时的问答拼接方式一致。
2)历史问答拼接规范:按此处规范自动将历史轮次问答拼接至Prompt中;{question}, {answer}变量分别对应历史用户问题和模型回答。为尽可能保证模型效果,此处拼接规范应与模型精调时的问答拼接方式一致。
3)外层Prompt模板:大模型指令精调时使用的Prompt模板,在模型调用时自动应用。
更多关注事项,可查看自定义HF导入模型Prompt拼接详细说明。
- 高级配置:默认关闭。大模型部署时的高级配置项,对模型推理性能和效果有一定影响,其默认示例如下:
{
"load_model_class": "AutoModelForCausalLM",
"load_tokenizer_class": "AutoTokenizer",
"enable_auto_batch": true,
"custom_end_str": "",
"token_decode_return_blank": true,
"tokenizer_special_tokens": {}
}
当您选择【对话模式】后,相关的高级配置可参考快速导入第三方模型相关内容。
模型类型为文生图大模型
选择模型来源为大模型训练任务
- 模型训练方式:必选项,可选大模型调优训练方式,相关内容参考SFT使用说明。
- 训练任务:必选项,选择相应模型训练方式的训练任务。新增模型版本时,模型下各版本的基础模型需保持一致,该选项将默认过滤不符合要求的训练任务。
- 运行名称:必选项,选择相应训练任务中已完成的运行的名称。
- 基础模型映射规则:
模型层面 | 模型版本层面 |
---|---|
Stable-Diffusion-XL | Stable-Diffusion-XL-Base-1.0 |
选择模型来源为对象存储BOS
需要您提前开通对象存储BOS服务。
- Bucket:选择对象存储BOS中模型所属的Bucket。
- 文件当前仅支持Stable-Diffusion-XL的LoRA模型导入。
- 模型格式:支持Safetensors格式的Stable-Diffusion-XL的LoRA训练模型。
- 输入输出格式:文生图图片。
以上信息填写完成后,点击“确定”,即创建一个新的模型(及版本);后续可在列表页或模型详情页新增模型版本。