查看与管理我的模型
更新时间:2024-11-06
用户模型创建后,您可以在“模型仓库-我的模型”列表中查看模型信息,进行相关操作。
登录到本平台,在左侧功能列模型仓库中选择我的模型,进入创建模型的主任务界面。
注:删除模型不影响已部署的服务。
点击模型名称或操作栏“详情”按钮,进入模型详情页。模型详情包含的内容有:
基本信息
查看模型名称、ID、模型类型及业务标签,其中业务标签支持修改。
版本列表
支持查看模型不同版本概览信息,进行版本详情查看、模型版本评估、压缩、部署、导出和删除等操作:
对于基础模型不同的版本,会有如下提示:
新增版本
点击新增版本按钮,可以创建新的模型版本,所需信息可参考创建我的模型(继承历史模型配置)。
基础模型为当前模型默认的基础模型,由模型最新版本的基础模型确定
当版本状态由“创建中”转为“就绪”时,模型版本即创建成功。
注:训练任务的一次运行不允许在同一个模型下重复创建多个版本。
查看版本详情
点击版本名称或操作栏“详情”按钮,可查看模型版本详情。
详情中展示了:
- 版本的基本信息,包括名称、来源、描述等;其中,“基础模型”字段为该用户模型的源模型,“可用部署资源”给出了模型版本部署所需的资源池类。
- 版本的接口信息,作为后续服务运行、调用的参考。
版本管理操作
模型版本列表与版本详情中,支持对模型版本进行如下操作:
- 评估:
支持对生成的大模型进行全方位评价,当前仅支持对的模型评估范围可参考模型评估。 - 压缩:
通过量化压缩等工具提升大模型推理速度,当前仅支持对的模型压缩范围可参考模型压缩。 - 部署:
支持将指定的模型版本部署为预测服务,详细操作内容可参考在线服务。 -
导出:
平台支持开源模型在训练、调整模型权重后,再导出。每个就绪状态的模型版本仅支持导出一次,导出成功后的模型可在任务列表中下载。
其中文心大模型系列支持导入文件类型为静态图和动态图格式,已导出过的模型可直接在导出方式处进行下载。- 动态图编程: 采用 Python 的编程风格,解析式地执行每一行网络代码,并同时返回计算结果。体验更佳、更易调试,但是因为采用 Python 实时执行的方式,消耗较大,在性能方面与 C++ 有一定差距。
- 静态图编程: 采用先编译后执行的方式。需先在代码中预定义完整的神经网络结构,飞桨框架会将神经网络描述为 Program 的数据结构,并对 Program 进行编译优化,再调用执行器获得计算结果。调试难度大,但是将前端 Python 编写的神经网络预定义为 Program 描述,转到 C++ 端重新解析执行,脱离了 Python 依赖,往往执行性能更佳,并且预先拥有完整网络结构也更利于全局优化。
支持导出的开源模型类型如下:
开源模型 | 开源模型 |
---|---|
BLOOMZ-7B、Stable-Diffusion-XL、SQLCoder-7B、ChatGLM2-6B、chatglm2-6b-32k | ChatGLM3-6B、Baichuan2-13B-Chat、Baichuan2-7B-Chat、codellama、Mixtral-8x7B-Instruct-v0.1、llama3-8b |
- 删除:
操作删除后,相应模型版本将被删除、版本号被弃用;删除版本不影响已部署上线的服务,但若版本有运行中的评估或压缩任务,则不允许删除。
任务列表
任务列表中展示了模型不同版本、各类任务的记录,如图所示:
任务类型包括:新建版本、删除版本、模型评估、模型压缩和模型导出。支持的操作包括
- 详情:跳转至相应版本详情、评估任务详情、压缩任务详情及模型导出详情(如有),如果有模型导出任务,可在此界面发起下载到本地。
- 查看日志:查看相应任务的日志。
部署记录
支持查看模型版本部署的记录及状态等信息,如图所示:
详情可参考服务管理中的服务详情部分内容。