查看模型评估任务报告

更新时间：2024-11-08

功能介绍

本接口用于根据评估任务id，查看模型评估任务报告。

HTTP调用

鉴权说明

调用本文API，使用“基于安全认证AK/SK”进行签名计算鉴权，即使用安全认证中的Access Key ID 和 Secret Access Key进行鉴权，具体鉴权认证机制参考HTTP调用鉴权说明。

请求说明

基本信息

请求地址： https://qianfan.baidubce.com/v2/eval

请求方式： POST

Header参数

名称	类型	必填	描述
Content-Type	string	是	固定值application/json
x-bce-date	string	是	当前时间，遵循ISO8601规范，格式如`2016-04-06T08:23:49Z`
Authorization	string	是	用于验证请求合法性的认证信息。更多参见鉴权认证，签名工具可参考IAM签名工具

Query参数

名称	类型	必填	描述
Action	string	是	方法名称，固定值DescribeEvalTaskReport

Body参数

名称	类型	必填	描述
taskId	string	是	评估任务id，说明：（1）可以通过以下方式获取该字段值： · 方式一，通过调用创建模型评估任务接口，返回的字段result获取 · 方式二，在控制台-模型调优-模型评估，点击某评估任务名称打开详情页，在任务详情的基本信息中查看，如下图所示

响应说明

名称	类型	描述
requestId	string	请求ID
code	string	错误码，错误时返回
message	string	错误信息，请求失败时返回
result	List<object>	请求结果，请求成功时返回

result说明

名称	类型	描述
taskId	string	评估任务ID
taskName	string	评估任务名称
modelId	string	模型版本ID
inferDatasetId	string	当前评估子任务使用的推理结果集id
evalObjectType	string	评估的数据类型，说明： · model：模型推理 · inferDataset：推理结果集
evalMode	string	评估模式，说明：具体值如下： · rule：基于规则 · model：裁判员模型 · manual：人工评估 · rule,model：同时支持自动规则和自动裁判员评估
effectMetric	object	效果指标

effectMetric说明

名称	类型	描述
accuracy	number	基于规则-准确率打分
f1Score	number	基于规则-准确率打分
rouge_1	number	基于规则-相似度打分
rouge_2	number	基于规则-相似度打分
rouge_l	number	基于规则-相似度打分
bleu4	number	基于规则-相似度打分
avgJudgeScore	number	裁判员打分-均值
stdJudgeScore	number	裁判员打分-标准差
medianJudgeScore	number	裁判员打分-中位数
scoreDistribution	map[string]int	裁判员打分-分值分布，说明：（1）含有从最小值到最大值的所有分数（2）-1为无效打分
manualAvgScore	number	平均分
goodCaseProportion	number	good case占比
subjectiveImpression	string	人工打分-主观印象
manualScoreDistribution	object[]	维度分数分布
gsbDistribution	map[string]int	gsb打分分布

manualScoreDistribution说明

名称	类型	描述
dimension	string	评价维度
scoreDistribution	map[string]int	维度分值分布，key为分值，value为分值的个数

请求示例

Bash

curl -i --location 'https://qianfan.baidubce.com/v2/eval?Action=DescribeEvalTaskReport'\
--header 'Authorization: bce-auth-v1/047ab241ba****28b1ac/2024-09-20T02:31:36Z/1800/host;x-bce-date/badcdfc045033df7d****1ef'\ 
--header 'Content-Type: application/json'\ 
--data '{
    "taskId": "ame-4kvnxxxxx"
}'

响应示例

JSON

{
	"requestId": "d60a00c4-a724-4851-96e5-b4dc3b258ca0",
	"result": [
		{
			"taskId": "ame-4kvnxxxx",
			"taskName": "自动评估_停止测试0910",
			"modelId": "amv-tts8v6re61hp",
			"inferDatasetId": "ds-ecwqqjb787dk1vm6",
			"evalObjectType": "service",
			"evalMode": "rule",
			"effectMetric": {
				"accuracy": 0,
				"f1Score": 0.34983957,
				"rouge_1": 0.33882716,
				"rouge_2": 0.15241386,
				"rouge_l": 0.26100817,
				"bleu4": 0.09671887,
				"avgJudgeScore": 0,
				"stdJudgeScore": 0,
				"medianJudgeScore": 0,
				"scoreDistribution": null,
				"manualAvgScore": 0,
				"goodCaseProportion": 0,
				"subjectiveImpression": "",
				"manualScoreDistribution": null,
				"gsbDistribution": null
			}
		},
		{
			"taskId": "ame-4kvnxxxx",
			"taskName": "自动评估_停止测试0910",
			"modelId": "amv-6j6is3sp166h",
			"inferDatasetId": "ds-sueg3fqnd14h9kqt",
			"evalObjectType": "service",
			"evalMode": "rule",
			"effectMetric": {
				"accuracy": 0,
				"f1Score": 0.34691638,
				"rouge_1": 0.32689363,
				"rouge_2": 0.13487022,
				"rouge_l": 0.25140443,
				"bleu4": 0.087691635,
				"edit_dist": 331.97778,
				"embedding_dist": 0.16930991,
				"avgJudgeScore": 0,
				"stdJudgeScore": 0,
				"medianJudgeScore": 0,
				"scoreDistribution": null,
				"manualAvgScore": 0,
				"goodCaseProportion": 0,
				"subjectiveImpression": "",
				"manualScoreDistribution": null,
				"gsbDistribution": null
			}
		}
	]
}

SDK调用

平台支持通过Python SDK、Go SDK、Java SDK 和 Node.js SDK调用本文API，SDK调用说明文档请参考查看模型评估任务报告。

错误码

若请求错误，服务器将返回的JSON文本包含以下参数：

名称	描述
requestId	请求ID
code	错误码
message	错误描述信息，帮助理解和解决发生的错误

例如错误返回：

{
    "requestId":"6ba7b810-xxxc04fd430c8",
    "code":"AccessDenied",
    "message":"Access denied."
}

更多其他错误码，也可以查看错误码说明。

查看模型评估任务详情

删除模型评估任务

百度智能云

百度智能云千帆大模型服务与开发平台ModelBuilder