查看模型评估任务详情

更新时间：2024-11-08

功能介绍

用于根据评估任务id，查看模型评估任务详情。

使用说明

本文API支持通过Go SDK、Java SDK 和 Node.js SDK调用，调用流程请参考SDK安装及使用流程。

SDK调用

调用示例

import os
from qianfan  import resources

# 通过环境变量初始化认证信息
# 使用安全认证AK/SK调用，替换下列示例中参数，安全认证Access Key替换your_iam_ak，Secret Key替换your_iam_sk，如何获取请查看https://cloud.baidu.com/doc/Reference/s/9jwvz2egb
os.environ["QIANFAN_ACCESS_KEY"] = "your_access_key"
os.environ["QIANFAN_SECRET_KEY"] = "your_secret_key"

resp = resources.console.utils.call_action(
    # 调用本文API，该参数值为固定值，无需修改；对应本文HTTP调用-请求说明-请求地址的后缀
    "/v2/eval", 
    # 调用本文API，该参数值为固定值，无需修改；对应本文HTTP调用-请求说明-请求参数-Query参数的Action
    "DescribeEvalTask",
    对应本文HTTP调用-请求说明-请求参数-Body参数，具体使用请查看Body参数说明，根据实际使用选择参数
    {"taskId": "ame-4kvnxxx"}
)
print(resp.body)

package main

import (
    "context"
    "fmt"
    "os"

    "github.com/baidubce/bce-qianfan-sdk/go/qianfan"
)

func main() {
     // 使用安全认证AK/SK鉴权，通过环境变量初始化；替换下列示例中参数，安全认证Access Key替换your_iam_ak，Secret Key替换your_iam_sk
    os.Setenv("QIANFAN_ACCESS_KEY", "your_iam_ak")
    os.Setenv("QIANFAN_SECRET_KEY", "your_iam_sk")
    
    ca := qianfan.NewConsoleAction()
    
    res, err := ca.Call(context.TODO(),
    // 调用本文API，该参数值为固定值，无需修改；对应本文HTTP调用-请求说明-请求地址的后缀
    "/v2/eval",
    // 调用本文API，该参数值为固定值，无需修改；对应本文HTTP调用-请求说明-请求参数-Query参数的Action
    "DescribeEvalTask",
    // 对应本文HTTP调用-请求说明-请求参数-Body参数，具体使用请查看Body参数说明，根据实际使用选择参数
    map[string]interface{}{
       "taskId": "ame-4kvnxxx",
    })
    if err != nil {
        panic(err)
    }
    fmt.Println(string(res.Body))
    
}

import com.baidubce.qianfan.Qianfan;
import com.baidubce.qianfan.model.console.ConsoleResponse;
import com.baidubce.qianfan.util.CollUtils;
import com.baidubce.qianfan.util.Json;
import java.util.Map;

public class Dome {
    public static void main(String args[]){
        // 使用安全认证AK/SK鉴权，替换下列示例中参数，安全认证Access Key替换your_iam_ak，Secret Key替换your_iam_sk
        Qianfan qianfan = new Qianfan("your_iam_ak", "your_iam_sk");
        
        ConsoleResponse<Map<String, Object>> response = qianfan.console()
                // 调用本文API，该参数值为固定值，无需修改；对应本文HTTP调用-请求说明-请求地址的后缀
                .route("/v2/eval")
                // 调用本文API，该参数值为固定值，无需修改；对应本文HTTP调用-请求说明-请求参数-Query参数的Action
                .action("DescribeEvalTask")
                // 需要传入参数的场景，可以自行封装请求类，或者使用Map.of()来构建请求Body
                // Java 8可以使用SDK提供的CollUtils.mapOf()来替代Map.of()
                // 对应本文HTTP调用-请求说明-请求参数-Body参数，具体使用请查看Body参数说明，根据实际使用选择参数
                .body(CollUtils.mapOf(
                    "taskId", "ame-4kvnxxx"
                ))
                .execute();

        System.out.println(Json.serialize(response));
    }
}

import {consoleAction, setEnvVariable} from "@baiducloud/qianfan";

// 使用安全认证AK/SK鉴权，通过环境变量初始化；替换下列示例中参数，安全认证Access Key替换your_iam_ak，Secret Key替换your_iam_sk
setEnvVariable('QIANFAN_ACCESS_KEY','your_iam_ak');
setEnvVariable('QIANFAN_SECRET_KEY','your_iam_sk');

async function main() {
  //base_api_route:调用本文API，该参数值为固定值，无需修改；对应本文HTTP调用-请求说明-请求地址的后缀
  //action:调用本文API，该参数值为固定值，无需修改；对应本文HTTP调用-请求说明-请求参数-Query参数的Action
  //data:对应本文HTTP调用-请求说明-请求参数-Body参数，具体使用请查看Body参数说明，根据实际使用选择参数
  const res = await consoleAction({base_api_route: '/v2/eval', action: 'DescribeEvalTask', data: {
       "taskId": "ame-4kvnxxx"
  });    
    
  console.log(res);
}

main();

返回示例

{
	'requestId': '81252b33-a63e-4231-93cb-8df1f2720a0d',
	'result': {
		'taskId': 'ame-4kvnxxxxx',
		'taskName': '自动评估_停止测试0910',
		'description': '',
		'state': 'Succeeded',
		'evalObjectConfig': {
			'evalModelConfig': {
				'versionId': 'ds-mwmk3mwkxxxxx',
				'storageType': 'BOS',
				'storagePath': 'bos:/aip-static/123',
				'evalModelConfigList': [
					{
						'modelId': 'amv-6j6ixxxxx',
						'isBaseline': False,
						'promptTemplate': '',
						'params': {}
					},
					{
						'modelId': 'amv-tts8vxxxx',
						'isBaseline': False,
						'promptTemplate': ',
						'params': {}
					}
				]
			}
		},
		'evalConfig': {
			'evalMode': 'rule',
			'autoRuleEvalConfig': {
				'scoreModes': [
					'similarity',
					'accuracy'
				],
				'stopWordList': null,
				'stopWordsPath': '
			}
		},
		'inferDatasetList': [
			{
				'inferDatasetId': 'ds-sueg3fqxxxxx',
				'modelId': 'amv-6j6is3sp166h'
			},
			{
				'inferDatasetId': 'ds-ecwqqjxxxxx',
				'modelId': 'amv-tts8v6re61hp'
			}
		],
		'createTime': '2024-09-10 11:52:53',
		'updateTime': '2024-09-10 16:52:25'
	}
}

{
	"requestId": "81252b33-a63e-4231-93cb-8df1f2720a0d",
	"result": {
		"taskId": "ame-4kvnxxxxx",
		"taskName": "自动评估_停止测试0910",
		"description": "",
		"state": "Succeeded",
		"evalObjectConfig": {
			"evalModelConfig": {
				"versionId": "ds-mwmk3mwkxxxxx",
				"storageType": "BOS",
				"storagePath": "bos:/aip-static/123",
				"evalModelConfigList": [
					{
						"modelId": "amv-6j6ixxxxx",
						"isBaseline": false,
						"promptTemplate": "",
						"params": {}
					},
					{
						"modelId": "amv-tts8vxxxx",
						"isBaseline": false,
						"promptTemplate": "",
						"params": {}
					}
				]
			}
		},
		"evalConfig": {
			"evalMode": "rule",
			"autoRuleEvalConfig": {
				"scoreModes": [
					"similarity",
					"accuracy"
				],
				"stopWordList": null,
				"stopWordsPath": ""
			}
		},
		"inferDatasetList": [
			{
				"inferDatasetId": "ds-sueg3fqxxxxx",
				"modelId": "amv-6j6is3sp166h"
			},
			{
				"inferDatasetId": "ds-ecwqqjxxxxx",
				"modelId": "amv-tts8v6re61hp"
			}
		],
		"createTime": "2024-09-10 11:52:53",
		"updateTime": "2024-09-10 16:52:25"
	}
}

{
	"requestId": "81252b33-a63e-4231-93cb-8df1f2720a0d",
	"result": {
		"taskId": "ame-4kvnxxxxx",
		"taskName": "自动评估_停止测试0910",
		"description": "",
		"state": "Succeeded",
		"evalObjectConfig": {
			"evalModelConfig": {
				"versionId": "ds-mwmk3mwkxxxxx",
				"storageType": "BOS",
				"storagePath": "bos:/aip-static/123",
				"evalModelConfigList": [
					{
						"modelId": "amv-6j6ixxxxx",
						"isBaseline": false,
						"promptTemplate": "",
						"params": {}
					},
					{
						"modelId": "amv-tts8vxxxx",
						"isBaseline": false,
						"promptTemplate": "",
						"params": {}
					}
				]
			}
		},
		"evalConfig": {
			"evalMode": "rule",
			"autoRuleEvalConfig": {
				"scoreModes": [
					"similarity",
					"accuracy"
				],
				"stopWordList": null,
				"stopWordsPath": ""
			}
		},
		"inferDatasetList": [
			{
				"inferDatasetId": "ds-sueg3fqxxxxx",
				"modelId": "amv-6j6is3sp166h"
			},
			{
				"inferDatasetId": "ds-ecwqqjxxxxx",
				"modelId": "amv-tts8v6re61hp"
			}
		],
		"createTime": "2024-09-10 11:52:53",
		"updateTime": "2024-09-10 16:52:25"
	}
}

{
	requestId: '81252b33-a63e-4231-93cb-8df1f2720a0d',
	result: {
		taskId: 'ame-4kvnxxxxx',
		taskName: '自动评估_停止测试0910',
		description: '',
		state: 'Succeeded',
		evalObjectConfig: {
			evalModelConfig: {
				versionId: 'ds-mwmk3mwkxxxxx',
				storageType: 'BOS',
				storagePath: 'bos:/aip-static/123',
				evalModelConfigList: [
					{
						modelId: 'amv-6j6ixxxxx',
						isBaseline: false,
						promptTemplate: '',
						params: {}
					},
					{
						modelId: 'amv-tts8vxxxx',
						isBaseline: false,
						promptTemplate: '',
						params: {}
					}
				]
			}
		},
		evalConfig: {
			evalMode: 'rule',
			autoRuleEvalConfig: {
				scoreModes: [
					"similarity",
					"accuracy"
				],
				stopWordList: null,
				stopWordsPath: ''
			}
		},
		inferDatasetList: [
			{
				inferDatasetId: 'ds-sueg3fqxxxxx',
				modelId: 'amv-6j6is3sp166h'
			},
			{
				inferDatasetId: 'ds-ecwqqjxxxxx',
				modelId: 'amv-tts8v6re61hp'
			}
		],
		createTime: '2024-09-10 11:52:53',
		updateTime: '2024-09-10 16:52:25'
	}
}

请求参数

名称	类型	必填	描述
taskId	string	是	评估任务id，说明：（1）可以通过以下方式获取该字段值： · 方式一，通过调用创建模型评估任务接口，返回的字段result获取 · 方式二，在控制台-模型调优-模型评估，点击某评估任务名称打开详情页，在任务详情的基本信息中查看，如下图所示

返回参数

名称	类型	描述
requestId	string	请求ID
code	string	错误码，错误时返回
message	string	错误信息，请求失败时返回
result	object	请求结果，请求成功时返回

result说明

名称	类型	描述
taskId	string	评估任务id
taskName	string	评估任务名称
description	string	评估任务描述
evalType	string	评估类型，说明： · manual：人工评估 · auto：自动评估
state	string	说明： · Queued：任务已提交，待调度 · Running：任务已调度，执行中 · RunningWithManualBegin：运行中（可人工标注） · RunningWithMetricsCalculating：指标计算中（人工标注完成后，数据同步中） · Successed：评估任务全部评估成功 · Stopping：任务停止中 · Failed：评估任务部分或全部失败 · Stopped：任务已全部停止
evalObjectConfig	object[]	模型评估对象配置
evalConfig	object	评估参数配置
inferDatasetList	object[]	评估过程中产生的推理结果集列表，基于结果集的评估任务不会生成
createTime	string	创建时间
updateTime	string	修改时间

evalObjectConfig说明

名称	类型	描述
evalModelConfig	object	评估模型配置信息
evalInferDatasetConfig	object	评估结果集配置信息

evalInferDatasetConfig说明

评估结果集对象的配置信息

名称	类型	描述
evalInferDatasetConfigList	List<object>	评估子对象配置列表

evalInferDatasetConfigList说明

名称	类型	描述
inferDatasetId	string	推理结果集ID
isBaseline	bool	启用GSB的时候，表示基准对象；若开启，要求待评估对象的数量为2

evalModelConfig说明

评估模型对象的配置信息

名称	类型	描述
versionId	string	评估数据集版本的ID，当评估对象是模型或者服务的时候，即evalObjectType=model，此字段有效
storageType	string	推理结果集存储类型，说明：（1）仅针对模型评估，用于存储评估过程中产生的推理结果集（2）值如下： · BOS：对象存储BOS · sysStorage：平台共享存储
storagePath	string	存储路径，说明：当存储类型为对象存储BOS时，即storageType=BOS，对应的完整存储路径
evalModelConfigList	List<object>	评估子对象配置列表

evalModelConfigList说明

名称	类型	描述
modelId	string	模型版本ID
promptTemplate	string	推理Prompt，说明：（1）必须包含{input} （2）示例：你是一个好助手，请遵照{input)要求，以商务风格做出相应回复，要求语言简练，客观详尽。
params	object	模型推理超参
isBaseline	bool	启用GSB的时候，表示基准对象；若开启，要求待评估对象的数量为2

params说明

名称	类型	描述
temperature	float	温度，说明：（1）较高的数值会使输出更加随机，而较低的数值会使其更加集中和确定（2）建议该参数和top_p只设置1个（3）两位小数，范围[0.01, 1.00 ]
top_p	float	多样性，说明：（1）影响输出文本的多样性，取值越大，生成文本的多样性越强（2）建议该参数和temperature只设置1个（3）一位小数，取值范围[0.0, 1.0]
penalty_score	float	重复惩罚，用通过对已生成的token增加惩罚，减少重复生成的现象。说明：（1）值越大表示惩罚越大（2）一位小数，取值范围[1.0, 2.0]
system	string	模型人设字段
disable_search	bool	是否强制关闭实时搜索功能，默认false，不关闭
enable_citation	bool	搜索溯源，开启后有概率触发搜索溯源信息
top_k	int	采样参数，在每轮token生成时，保留k个概率最高的token作为候选。说明：（1）影响输出文本的多样性，取值越大，生成文本的多样性越强（2）取值范围：正整数
stop	string[]	推理应用词表

evalConf说明

名称	类型	描述
evalMode	string	评估模式，说明：具体值如下： · rule：基于规则 · model：裁判员模型 · manual：人工评估 · rule,model：同时支持自动规则和自动裁判员评估
manualEvalConfig	object	人工评估配置
autoRuleEvalConfig	object	自动规则评估配置
autoModelEvalConfig	object	自动裁判员评估配置

manualEvalConfig说明

人工评估参数

名称	类型	描述
evalDimension	object[]	人工评估评价维度，说明：（1）默认维度为满意度，不可删除，平台会自动内置（2）用户可自行添加其他维度，最多添加4个维度（3）当evalMode参数中包含manual，即存在人工评估模式时，此字段有效

evalDimension说明

名称	类型	描述
dimension	string	评价维度
description	string	维度的描述

autoRuleEvalConfig说明

自动规则评估参数

名称	类型	描述
stopWordList	string[]	基于规则的停用词表，说明：当evalMode参数中包含rule，即存在规则评估模式时，此字段有效
scoreModes	string[]	基于规则下的评分规则选择，说明：具体值如下： · similarity：相似度打分 · accuracy：准确率打分
stopWordsPath	string	基于规则模式停用词表文件路径

autoModelEvalConfig说明

自动裁判员评估参数

名称	类型	描述
promptParam	object	裁判员评估打分模板配置，说明：（1）当evalMode参数中包含model，即存在裁判员评估模式时，此字段有效（2）用户若未指定则采用平台默认配置
apiName	string	裁判员打分应用名称，裁判员打分应用默认使用EB3.5 和 EB4.0 的主线版本的预置服务进行评估，说明：（1）当前仅开放两类名称，如下所示： · EB3.5：ERNIE-Bot · EB4.0：ERNIE-Bot-4.0 （2）不填默认是 ERNIE-Bot

promptParam说明

名称	类型	描述
metric	string	指标内容，替换{metric}占位符
steps	string	评分步骤，用于替换{steps}占位符
maxScore	number	最高分，用于替换{max_score}占位符

inferDatasetList说明

评估产生的推理结果集列表信息

名称	类型	描述
inferDatasetId	string	推理结果集ID
modelId	string	产出推理结果集的模型版本ID

查看模型评估任务列表

查看模型评估任务报告

百度智能云

百度智能云千帆大模型服务与开发平台ModelBuilder