获取模型版本详情
更新时间:2024-11-12
功能介绍
用于获取模型版本详情,如模型版本名称、描述、创建时间、输入输出模式、输入输出模式限制等。
使用说明
本文API支持通过Python SDK、Go SDK、Java SDK 和 Node.js SDK调用,调用流程请参考SDK安装及使用流程。
SDK调用
调用示例
import os
from qianfan import resources
# 使用安全认证AK/SK鉴权,通过环境变量方式初始化;替换下列示例中参数,安全认证Access Key替换your_iam_ak,Secret Key替换your_iam_sk
os.environ["QIANFAN_ACCESS_KEY"] = "your_iam_ak"
os.environ["QIANFAN_SECRET_KEY"] = "your_iam_sk"
resp = resources.Model.V2.describe_model(model_id=model_id)
print(resp.body)
package main
import (
"context"
"fmt"
"os"
"github.com/baidubce/bce-qianfan-sdk/go/qianfan"
)
func main() {
// 使用安全认证AK/SK鉴权,通过环境变量初始化;替换下列示例中参数,安全认证Access Key替换your_iam_ak,Secret Key替换your_iam_sk
os.Setenv("QIANFAN_ACCESS_KEY", "your_iam_ak")
os.Setenv("QIANFAN_SECRET_KEY", "your_iam_sk")
ca := qianfan.NewConsoleAction()
res, err := ca.Call(context.TODO(),
// 调用本文API,该参数值为固定值,无需修改;对应本文HTTP调用-请求说明-请求地址的后缀
"/v2/model",
// 调用本文API,该参数值为固定值,无需修改;对应本文HTTP调用-请求说明-请求参数-Query参数的Action
"DescribeModel",
// 对应本文HTTP调用-请求说明-请求参数-Body参数,具体使用请查看Body参数说明,根据实际使用选择参数
map[string]interface{}{
"modelId":"amv-g73jxxxzpz",
})
if err != nil {
panic(err)
}
fmt.Println(string(res.Body))
}
import com.baidubce.qianfan.Qianfan;
import com.baidubce.qianfan.model.console.ConsoleResponse;
import com.baidubce.qianfan.util.CollUtils;
import com.baidubce.qianfan.util.Json;
import java.util.Map;
public class Dome {
public static void main(String args[]){
// 使用安全认证AK/SK鉴权,替换下列示例中参数,安全认证Access Key替换your_iam_ak,Secret Key替换your_iam_sk
Qianfan qianfan = new Qianfan("your_iam_ak", "your_iam_sk");
ConsoleResponse<Map<String, Object>> response = qianfan.console()
// 调用本文API,该参数值为固定值,无需修改;对应本文HTTP调用-请求说明-请求地址的后缀
.route("/v2/model")
// 调用本文API,该参数值为固定值,无需修改;对应本文HTTP调用-请求说明-请求参数-Query参数的Action
.action("DescribeModel")
// 需要传入参数的场景,可以自行封装请求类,或者使用Map.of()来构建请求Body
// Java 8可以使用SDK提供的CollUtils.mapOf()来替代Map.of()
// 对应本文HTTP调用-请求说明-请求参数-Body参数,具体使用请查看Body参数说明,根据实际使用选择参数
.body(CollUtils.mapOf(
"modelId","amv-g73jxxxzpz"
))
.execute();
System.out.println(Json.serialize(response));
}
}
import {consoleAction, setEnvVariable} from "@baiducloud/qianfan";
// 使用安全认证AK/SK鉴权,通过环境变量初始化;替换下列示例中参数,安全认证Access Key替换your_iam_ak,Secret Key替换your_iam_sk
setEnvVariable('QIANFAN_ACCESS_KEY','your_iam_ak');
setEnvVariable('QIANFAN_SECRET_KEY','your_iam_sk');
async function main() {
//base_api_route:调用本文API,该参数值为固定值,无需修改;对应本文HTTP调用-请求说明-请求地址的后缀
//action:调用本文API,该参数值为固定值,无需修改;对应本文HTTP调用-请求说明-请求参数-Query参数的Action
//data:对应本文HTTP调用-请求说明-请求参数-Body参数,具体使用请查看Body参数说明,根据实际使用选择参数
const res = await consoleAction({base_api_route: '/v2/model', action: 'DescribeModel', data: {
"modelId":"amv-g73jxxxzpz"
}
});
console.log(res);
}
main();
返回示例
{
"requestId": "1bcc2ba5-6a6d-487d-9626-a3133fc64ff0",
"result": {
"modelId": "amv-vd5h69rcgpkz",
"modelName": "1",
"sourceInfo": {"sourceType": "Train", "trainTaskId": 24663},
"state": "Ready",
"modelApplicationType": "chat",
"tokenLimitations": {
"trivial": {"inputTokens": 0, "outputTokens": 0, "characterLimit": 0}
},
"createTime": "2024-05-16T22:40:23+08:00",
"modifyTime": "2024-05-16T22:40:24+08:00",
"isSupportDeploy": True,
"isSupportModelComp": True,
"isSupportEvaluation": True,
"resourceConfig": {
"resourceId": "prl-yqxxx7r08"
},
"modelCompConfigs": [
"strategy": "xxx",
"sparsityRatio": 0.5
]
},
}
{
"requestId": "6ba7b810-9dad-11d1-80b4-00c04fd430c8",
"result": {
"modelSetId": "am-txtetnsfq9sb",
"modelSetName": "chatglm32k_v10",
"modelId": "amv-sxw7atka4jk0",
"modelName": "V2",
"description": "clc_test_publish_chatglm32k_v10",
"sourceInfo": {
"sourceType": "Train",
"trainTaskId": 423
},
"status": "Ready",
"endpointType": "chat",
"ioTokens": "",
"createTime": "2023-12-15T16:30:06+08:00",
"modifyTime": "2024-01-04T16:10:45+08:00",
"isSupportDeploy": true,
"isSupportModelComp": false,
"isSupportEvaluation": true
"resourceConfig": {
"resourceId": "prl-yqec88en7r08"
},
"modelCompConfigs": [
"strategy": "Sparsity",
"sparsityRatio": 0.5
]
}
}
{
"requestId": "6ba7b810-9dad-11d1-80b4-00c04fd430c8",
"result": {
"modelSetId": "am-txtetnsfq9sb",
"modelSetName": "chatglm32k_v10",
"modelId": "amv-sxw7atka4jk0",
"modelName": "V2",
"description": "clc_test_publish_chatglm32k_v10",
"sourceInfo": {
"sourceType": "Train",
"trainTaskId": 423
},
"status": "Ready",
"endpointType": "chat",
"ioTokens": "",
"createTime": "2023-12-15T16:30:06+08:00",
"modifyTime": "2024-01-04T16:10:45+08:00",
"isSupportDeploy": true,
"isSupportModelComp": false,
"isSupportEvaluation": true
"resourceConfig": {
"resourceId": "prl-yqec88en7r08"
},
"modelCompConfigs": [
"strategy": "Sparsity",
"sparsityRatio": 0.5
]
}
}
{
"requestId": "6ba7b810-9dad-11d1-80b4-00c04fd430c8",
"result": {
"modelSetId": "am-txtetnsfq9sb",
"modelSetName": "chatglm32k_v10",
"modelId": "amv-sxw7atka4jk0",
"modelName": "V2",
"description": "clc_test_publish_chatglm32k_v10",
"sourceInfo": {
"sourceType": "Train",
"trainTaskId": 423
},
"status": "Ready",
"endpointType": "chat",
"ioTokens": "",
"createTime": "2023-12-15T16:30:06+08:00",
"modifyTime": "2024-01-04T16:10:45+08:00",
"isSupportDeploy": true,
"isSupportModelComp": false,
"isSupportEvaluation": true
"resourceConfig": {
"resourceId": "prl-yqec88en7r08"
},
"modelCompConfigs": [
"strategy": "Sparsity",
"sparsityRatio": 0.5
]
}
}
请求参数
注意:不同语言SDK的请求参数不同,请根据实际调用选择对应参数。
- Python SDK请求参数说明
名称 | 类型 | 必填 | 描述 |
---|---|---|---|
model_id | string | 是 | 模型版本ID,示例:amv-g73j3faikzpz,通过以下方式获取该字段值: · 方式一,通过调用新建我的模型版本接口,返回的modelId字段获取 · 方式二,在控制台-我的模型-点击某模型详情,在版本列表中查看 |
- 其它SDK请求参数说明
名称 | 类型 | 必填 | 描述 |
---|---|---|---|
modelId | string | 是 | 模型版本ID,示例:amv-g73j3faikzpz,通过以下方式获取该字段值: · 方式一,通过调用新建我的模型版本接口,返回的modelId字段获取 · 方式二,在控制台-我的模型-点击某模型详情,在版本列表中查看 |
返回参数
名称 | 类型 | 描述 |
---|---|---|
requestId | string | 请求ID |
result | object | 模型版本相关信息 |
result说明
名称 | 类型 | 描述 |
---|---|---|
modelId | string | 模型版本ID |
status | string | 状态,说明: · Ready:已就绪 · Creating:创建中 · Fail:创建失败 |
modelName | string | 模型版本名称 |
model | string | 基础模型版本名称 |
sourceInfo | object | 模型版本来源回溯信息 |
description | string | 模型版本描述,说明: · 当有模型版本描述时,才返回该字段; · 如果无模型版本描述,不返回此字段 |
createTime | string | 模型版本创建时间 |
modifyTime | string | 模型版本修改时间 |
modelApplicationType | string | 输入输出模式,说明: · chat:对话模式 · completion:续写模式 |
tokenLimitations | object | 输入输出长度限制 |
isSupportDeploy | bool | 是否支持部署 |
isSupportModelComp | bool | 是否支持压缩 |
isSupportEvaluation | bool | 是否支持评估 |
advancedSettings | object | 量化压缩配置 |
modelCompConfigs | modelCompConfig[] | 模型压缩可选配置列表 |
sourceInfo说明
名称 | 类型 | 描述 |
---|---|---|
sourceType | string | 模型版本来源类型,不同类型对应不同的数据结构,说明: · Train:大模型训练产生 · Acceleration:模型加速产生 · Import:外部导入模型 · PlatformPreset:平台预置模型版本 |
trainTaskId | string | 大模型训练任务id |
accelerationTaskId | string | 模型版本加速任务id |
importModelVersionBosUrl | string | 导入模型版本bos地址 |
tokenLimitations说明
名称 | 类型 | 描述 |
---|---|---|
trivial | object | modelApplicationType非reranker类型的模型上下文限制 |
reranker | object | modelApplicationType为reranker类型的模型上下文限制 |
trivial说明
名称 | 类型 | 描述 |
---|---|---|
inputTokens | int | 输入tokens限制 |
outputTokens | int | 输出tokens限制 |
characterLimit | int | 字符数限制 |
reranker说明
名称 | 类型 | 描述 |
---|---|---|
queryTokens | int | query的tokens限制 |
queryCharacterLimit | int | query的字符数限制 |
documentTokens | int | document的tokens限制 |
documentCharacterLimit | int | document的字符数限制 |
advancedSettings说明
名称 | 类型 | 描述 |
---|---|---|
samplingStrategy | string | 压缩时的采样策略,说明: (1)当导入HuggingFace模型,且推理引擎为vLLM,该参数有效, (2)可选值如下: · 多项式采样:multinomialSampling · 束搜索:beamSearch · 贪心搜索:greedySearch |
numBeams | int | 束数量,说明: (1)当导入HuggingFace模型,该参数有效 (2)取值范围为2-15 |
topLogprobs | int | logits中topk的值,范围为1~20 |
modelCompConfig说明
名称 | 类型 | 描述 |
---|---|---|
strategy | string | 模型压缩策略,说明: · Quantization:量化压缩策略 · Sparsity:稀疏化压缩策略 |
sparsityRatio | float | 稀疏比例,strategy为Sparsity时返回 |
weight | string | 量化压缩配置,说明: (1)只有当strategy为Quantization时返回该字段 (2)说明: · W8A8C4:EB模型 · W8A8C8:EB模型 · W8A8C16:EB模型 · W8A16C16:HF模型 · W4A16C16:HF模型 |