模型创建与管理
模型创建来源
平台支持基于平台任务和基于自定义导入两种方式创建模型：
-
基于任务创建模型
- 平台精调任务
- 平台整理任务
- 平台压缩模型
- 基于自定义导入创建模型
不同类型模型，支持的创建来源也有所不同，详细请参考表格：
| 模型类型 | 支持的模型来源 |
|---|---|
| 文本生成 | 精调任务、蒸馏任务、压缩模型、对象存储BOS |
| 深度推理 | 精调任务、蒸馏任务、对象存储BOS |
| 图像生成 | 精调任务、对象存储BOS |
| 图像理解 | 精调任务、对象存储BOS |
| 向量表示 | 精调任务、对象存储BOS |
| 重排序 | 对象存储BOS |
本文重点介绍基于任务创建模型，基于自定义导入创建模型， 详细请参考：HuggingFace格式模型导入。
模型创建步骤
登录到本平台，在左侧功能列模型管理中选择我的模型，进入创建模型的主任务界面。
- 点击“创建模型”按钮，进行模型新建。
- 填写模型的基本信息
-
选择已完成的训练任务、蒸馏任务模型，创建一个新的模型版本，具体字段包括：
- 模型版本：平台自动生成，版本号从V1起递增。
- 模型版本描述：非必填项，自定义的版本描述，记录模型的业务场景、使用方式等信息。
- 模型来源：分为大模型训练任务、大模型蒸馏任务、压缩模型
不同类型模型创建示例
下面将以文本生成、图像生成和图像理解为例，为您展示模型纳管。
文本生成
在基本信息中，模型类型选择文本生成。
训练任务
- 模型训练方式：必选项，可选大模型调优任务。
- 训练作业：必选项，选择相应模型训练方式的训练任务。新增模型版本时，模型下各版本的基础模型需保持一致，该选项将默认过滤不符合要求的训练任务。
- 训练任务：必选项，选择相应训练任务中已完成的运行的名称。
- 上下文长度：默认和训练时设置的序列长度保持一致。128k基础模型可设置8k、16k、32k、64k、128k多种长度
- 分片数量：默认分片数为可部署在AI加速卡I型的最小数量。 模型分片数等同部署时单副本算力单元数。多分片可有效提高推理速度和降低延迟。由于不同加速卡存在显存区别，部署至部分加速卡时，模型需要分片处理。
蒸馏任务
- 模型训练方式：必选项，可选大模型蒸馏任务。
- 训练作业：必选项，选择相应模型蒸馏方式的蒸馏任务。新增模型版本时，模型下各版本的基础模型需保持一致，该选项将默认过滤不符合要求的训练任务。
- 蒸馏任务：必选项，选择相应训练任务中已完成的运行的名称。
- 默认工具链版本，选择部署硬件即可，当然您也可以开启模型的高级参数，比如精度
- 上下文长度：默认和训练时设置的序列长度保持一致。128k基础模型可设置8k、16k、32k、64k、128k多种长度
- 分片数量：默认分片数为可部署在AI加速卡I型的最小数量。 模型分片数等同部署时单副本算力单元数。多分片可有效提高推理速度和降低延迟。由于不同加速卡存在显存区别，部署至部分加速卡时，模型需要分片处理。
图像生成
在基本信息中，模型类型选择图像生成。
训练任务
- 模型训练方式：必选项，可选大模型调优训练方式，相关内容参考SFT使用说明。
- 训练作业：必选项，选择相应模型训练方式的训练任务。新增模型版本时，模型下各版本的基础模型需保持一致，该选项将默认过滤不符合要求的训练任务。
- 训练任务：必选项，选择相应训练任务中已完成的运行的名称。
图像理解
在基本信息中，模型类型选择图像理解。
训练任务
- 模型训练方式：必选项，可选大模型调优训练方式，相关内容参考SFT使用说明。
- 训练作业：必选项，选择相应模型训练方式的训练任务。新增模型版本时，模型下各版本的基础模型需保持一致，该选项将默认过滤不符合要求的训练任务。
- 训练任务：必选项，选择相应训练任务中已完成的运行的名称。
所有信息填写完成后，点击“确定”，即创建一个新的模型（及版本）；后续可在列表页或模型详情页新增模型版本。
查看模型详情
用户模型创建后，您可以在“模型仓库-我的模型”列表中查看模型信息，进行相关操作。
登录到本平台，在左侧功能列模型仓库中选择我的模型，进入创建模型的主任务界面。
注：删除模型不影响已部署的服务。
点击模型名称或操作栏“详情”按钮，进入模型详情页。模型详情包含的内容有：
基本信息
查看模型名称、ID、模型类型及业务标签，其中业务标签支持修改。
版本列表
支持查看模型不同版本概览信息，进行版本详情查看、模型版本评估、压缩、部署、导出和删除等操作：
对于基础模型不同的版本，会有如下提示：
新增版本
点击新增版本按钮，可以创建新的模型版本，所需信息可参考创建我的模型(继承历史模型配置)。
基础模型为当前模型默认的基础模型，由模型最新版本的基础模型确定
当版本状态由“创建中”转为“就绪”时，模型版本即创建成功。
注：训练任务的一次运行不允许在同一个模型下重复创建多个版本。
查看版本详情
点击版本名称或操作栏“详情”按钮，可查看模型版本详情。
详情中展示了：
- 版本的基本信息，包括名称、来源、描述等；其中，“基础模型”字段为该用户模型的源模型，“可用部署资源”给出了模型版本部署所需的资源池类。
- 版本的接口信息，作为后续服务运行、调用的参考。
版本管理操作
模型版本列表与版本详情中，支持对模型版本进行如下操作：
- 评估：
支持对生成的大模型进行全方位评价，当前仅支持对的模型评估范围可参考模型评估。 - 压缩：
通过量化压缩等工具提升大模型推理速度，当前仅支持对的模型压缩范围可参考模型压缩。 - 部署：
支持将指定的模型版本部署为预测服务，详细操作内容可参考在线服务。 -
导出：
平台支持开源模型在训练、调整模型权重后，再导出。每个就绪状态的模型版本仅支持导出一次，导出成功后的模型可在任务列表中下载。
其中文心大模型系列支持导出文件类型为静态图和动态图格式，已导出过的模型可直接在导出方式处进行下载。当前文心模型导出需要特殊申请。- 动态图编程： 采用 Python 的编程风格，解析式地执行每一行网络代码，并同时返回计算结果。体验更佳、更易调试，但是因为采用 Python 实时执行的方式，消耗较大，在性能方面与 C++ 有一定差距。
- 静态图编程： 采用先编译后执行的方式。需先在代码中预定义完整的神经网络结构，飞桨框架会将神经网络描述为 Program 的数据结构，并对 Program 进行编译优化，再调用执行器获得计算结果。调试难度大，但是将前端 Python 编写的神经网络预定义为 Program 描述，转到 C++ 端重新解析执行，脱离了 Python 依赖，往往执行性能更佳，并且预先拥有完整网络结构也更利于全局优化。
支持导出的开源模型范围如下：
除千帆大模型团队研发的模型外（例如DeepSeek-R1-Distill-Qianfan-Llama-70B等模型名字中带了Qianfan的模型），其余平台训练的开源模型均支持导出
- 删除：
操作删除后，相应模型版本将被删除、版本号被弃用；删除版本不影响已部署上线的服务，但若版本有运行中的评估或压缩任务，则不允许删除。
任务列表
任务列表中展示了模型不同版本、各类任务的记录，如图所示：
任务类型包括：新建版本、删除版本、模型评估、模型压缩和模型导出。支持的操作包括
- 详情：跳转至相应版本详情、评估任务详情、压缩任务详情及模型导出详情(如有)，如果有模型导出任务，可在此界面发起下载到本地。
- 查看日志：查看相应任务的日志。
部署记录
支持查看模型版本部署的记录及状态等信息，如图所示：
详情可参考服务管理中的服务详情部分内容。
