发起模型评估结果导出任务
更新时间:2025-01-14
功能介绍
用于创建模型评估结果导出任务。
使用说明
本文API支持通过Python SDK、Go SDK、Java SDK 和 Node.js SDK调用,调用流程请参考SDK安装及使用流程。
权限说明
调用本文API,需符合以下权限要求,权限介绍及分配,请查看角色与权限控制列表、账号创建与权限分配。需具有以下任一权限:
- 完全控制千帆大模型平台的权限:QianfanFullControlAccessPolicy
- 完全控制千帆大模型平台模型调优的权限:QianfanModelTuningFullControlAccessPolicy
SDK调用
调用示例
import os
from qianfan import resources
# 通过环境变量初始化认证信息
# 使用安全认证AK/SK调用,替换下列示例中参数,安全认证Access Key替换your_iam_ak,Secret Key替换your_iam_sk,如何获取请查看https://cloud.baidu.com/doc/Reference/s/9jwvz2egb
os.environ["QIANFAN_ACCESS_KEY"] = "your_iam_ak"
os.environ["QIANFAN_SECRET_KEY"] = "your_iam_sk"
resp = resources.console.utils.call_action(
# 调用本文API,该参数值为固定值,无需修改;对应API调用文档-请求结构-请求地址的后缀
"/v2/eval",
# 调用本文API,该参数值为固定值,无需修改;对应API调用文档-请求参数-Query参数的Action
"CreateEvalResultExportTask",
# 请查看本文请求参数说明,根据实际使用选择参数;对应API调用文档-请求参数-Body参数
{
"evalId": "ame-xvbi***dr1dr",
"storageType": "sysStorage",
"exportContent": [
"prompt",
"prediction",
"completion",
"metrics"
]
}
)
print(resp.body)
package main
import (
"context"
"fmt"
"os"
"github.com/baidubce/bce-qianfan-sdk/go/qianfan"
)
func main() {
// 使用安全认证AK/SK鉴权,通过环境变量初始化;替换下列示例中参数,安全认证Access Key替换your_iam_ak,Secret Key替换your_iam_sk
os.Setenv("QIANFAN_ACCESS_KEY", "your_iam_ak")
os.Setenv("QIANFAN_SECRET_KEY", "your_iam_sk")
ca := qianfan.NewConsoleAction()
res, err := ca.Call(context.TODO(),
// 调用本文API,该参数值为固定值,无需修改;对应API调用文档-请求结构-请求地址的后缀
"/v2/eval",
// 调用本文API,该参数值为固定值,无需修改;对应API调用文档-请求参数-Query参数的Action
"CreateEvalResultExportTask",
// 请查看本文请求参数说明,根据实际使用选择参数;对应API调用文档-请求参数-Body参数
map[string]interface{}{
"evalId": "ame-xvbi***dr1dr",
"storageType": "sysStorage",
"exportContent": []string{
"prompt",
"prediction",
"completion",
"metrics",
},
})
if err != nil {
panic(err)
}
fmt.Println(string(res.Body))
}
import com.baidubce.qianfan.Qianfan;
import com.baidubce.qianfan.model.console.ConsoleResponse;
import com.baidubce.qianfan.util.CollUtils;
import com.baidubce.qianfan.util.Json;
import java.util.Map;
public class Dome {
public static void main(String args[]){
// 使用安全认证AK/SK鉴权,替换下列示例中参数,安全认证Access Key替换your_iam_ak,Secret Key替换your_iam_sk
Qianfan qianfan = new Qianfan("your_iam_ak", "your_iam_sk");
ConsoleResponse<Map<String, Object>> response = qianfan.console()
// 调用本文API,该参数值为固定值,无需修改;对应API调用文档-请求结构-请求地址的后缀
.route("/v2/eval")
// 调用本文API,该参数值为固定值,无需修改;对应API调用文档-请求参数-Query参数的Action
.action("CreateEvalResultExportTask")
// 需要传入参数的场景,可以自行封装请求类,或者使用Map.of()来构建请求Body
// Java 8可以使用SDK提供的CollUtils.mapOf()来替代Map.of()
// 请查看本文请求参数说明,根据实际使用选择参数;对应API调用文档-请求参数-Body参数
.body(CollUtils.mapOf(
"evalId", "ame-xvbi***dr1dr",
"storageType", "sysStorage",
"exportContent",new String[]{
"prompt",
"prediction",
"completion",
"metrics"
}
))
.execute();
System.out.println(Json.serialize(response));
}
}
import {consoleAction, setEnvVariable} from "@baiducloud/qianfan";
// 使用安全认证AK/SK鉴权,通过环境变量初始化;替换下列示例中参数,安全认证Access Key替换your_iam_ak,Secret Key替换your_iam_sk
setEnvVariable('QIANFAN_ACCESS_KEY','your_iam_ak');
setEnvVariable('QIANFAN_SECRET_KEY','your_iam_sk');
async function main() {
//base_api_route:调用本文API,该参数值为固定值,无需修改;对应API调用文档-请求结构-请求地址的后缀
//action:调用本文API,该参数值为固定值,无需修改;对应API调用文档-请求参数-Query参数的Action
//data:请查看本文请求参数说明,根据实际使用选择参数;对应API调用文档-请求参数-Body参数
const res = await consoleAction({base_api_route: '/v2/eval', action: 'CreateEvalResultExportTask', data: {
"evalId": "ame-xvbi***dr1dr",
"storageType": "sysStorage",
"exportContent": [
"prompt",
"prediction",
"completion",
"metrics"
]
});
console.log(res);
}
main();
返回示例
{
"requestId": "81252b33-a63e-4231-93cb-8df1f2720a0d",
"result": {
"taskId":"amemt-hxxxxxx4j8"
}
}
{
"requestId": "81252b33-a63e-4231-93cb-8df1f2720a0d",
"result": {
"taskId":"amemt-hxxxxxx4j8"
}
}
{
"requestId": "81252b33-a63e-4231-93cb-8df1f2720a0d",
"result": {
"taskId":"amemt-hxxxxxx4j8"
}
}
{
requestId:'1bef3f87-c5b2-4419-936b-50f9884f10d4',
result:{
'taskId':'amemt-hxxxxxx4j8'
}
请求参数
名称 | 类型 | 必填 | 描述 |
---|---|---|---|
evalId | string | 是 | 评估任务id,示例:ame-vwxxxxyhfv,说明: (1)可以通过以下方式获取该字段值: 方式一,通过调用创建模型评估任务接口,返回的字段result获取 方式二,在控制台-模型调优-模型评估,点击某评估任务名称打开详情页,在任务详情的基本信息中查看,如下图所示 |
storageType | string | 是 | 导出类型,说明: (1)仅针对模型评估,用于存储评估过程中产生的推理结果集 (2)可选值如下: · BOS:对象存储BOS · sysStorage:平台共享存储,不填默认是sysStorage |
bucket | string | 否 | 存储类型为对象存储BOS时,表示用户Bos的bucket名称 |
exportContent | string[] | 是 | 导出内容,可选值如下: · prompt:prompt · prediction:预测结果 · completion:预期回答 · metrics:评估指标 · system:人设字段 |
返回参数
名称 | 类型 | 描述 |
---|---|---|
requestId | string | 请求ID,用于定位问题 |
code | string | 错误码,接口报错时返回,HTTP状态码≥400 |
message | string | 错误信息,接口报错时返回,HTTP状态码≥400 |
result | object | 请求结果,接口请求成功时返回,HTTP状态码=200 |
result说明
名称 | 类型 | 描述 |
---|---|---|
taskId | string | 导出任务id |