查看模型评估结果列表
更新时间:2024-11-08
功能介绍
用于查看模型评估结果列表。
使用说明
本文API支持通过千帆Python SDK、Go SDK、Java SDK 和 Node.js SDK调用,调用流程请参考SDK安装及使用流程。
SDK调用
调用示例
import os
from qianfan.resources import Model
# 使用安全认证AK/SK鉴权,通过环境变量方式初始化;替换下列示例中参数,安全认证Access Key替换your_iam_ak,Secret Key替换your_iam_sk
os.environ["QIANFAN_ACCESS_KEY"] = "your_iam_ak"
os.environ["QIANFAN_SECRET_KEY"] = "your_iam_sk"
#列出id为ame-xxx,bleu4在[0, 0.95]内,judge_score在[0, 95]内的模型评估结果列表
resp = Model.get_evaluation_result_list(id='ame-xxx', bleu4={"start": 0.0, "end": 0.95},judge_score={"start": 0, "end": 95})
resp['result']['items'] = resp['result']['items'][:3] # 只展示前3个结果
print(resp)
# print(resp['body'])
package main
import (
"context"
"fmt"
"os"
"github.com/baidubce/bce-qianfan-sdk/go/qianfan"
)
func main() {
// 使用安全认证AK/SK鉴权,通过环境变量初始化;替换下列示例中参数,安全认证Access Key替换your_iam_ak,Secret Key替换your_iam_sk
os.Setenv("QIANFAN_ACCESS_KEY", "your_iam_ak")
os.Setenv("QIANFAN_SECRET_KEY", "your_iam_sk")
ca := qianfan.NewConsoleAction()
res, err := ca.Call(context.TODO(),
// 调用本文API,该参数值为固定值,无需修改;对应本文HTTP调用-请求说明-请求地址的后缀
"/wenxinworkshop/modelrepo/eval/result/list", "",
// 对应本文HTTP调用-请求说明-请求参数-Body参数,具体使用请查看Body参数说明,根据实际使用选择参数
map[string]interface{}{
"id": 401,
"pageNo": 1,
"pageSize": 1,
"evalUnitId": [...]string{"ameu-gpvzs6k7is0n"},
})
if err != nil {
panic(err)
}
fmt.Println(string(res.Body))
}
import com.baidubce.qianfan.Qianfan;
import com.baidubce.qianfan.model.console.ConsoleResponse;
import com.baidubce.qianfan.util.CollUtils;
import com.baidubce.qianfan.util.Json;
import java.util.Map;
public class Dome {
public static void main(String args[]){
// 使用安全认证AK/SK鉴权,替换下列示例中参数,安全认证Access Key替换your_iam_ak,Secret Key替换your_iam_sk
Qianfan qianfan = new Qianfan("your_iam_ak", "your_iam_sk");
ConsoleResponse<Map<String, Object>> response = qianfan.console()
// 调用本文API,该参数值为固定值,无需修改;对应本文HTTP调用-请求说明-请求地址的后缀
.route("/wenxinworkshop/modelrepo/eval/result/list")
// 需要传入参数的场景,可以自行封装请求类,或者使用Map.of()来构建请求Body
// Java 8可以使用SDK提供的CollUtils.mapOf()来替代Map.of()
// 对应本文HTTP调用-请求说明-请求参数-Body参数,具体使用请查看Body参数说明,根据实际使用选择参数
.body(CollUtils.mapOf(
"id",401,
"pageNo",1,
"pageSize",1,
"evalUnitId",new String[]{"ameu-gpvzs6k7is0n"}
))
.execute();
System.out.println(Json.serialize(response));
}
}
import {consoleAction, setEnvVariable} from "@baiducloud/qianfan";
// 使用安全认证AK/SK鉴权,通过环境变量初始化;替换下列示例中参数,安全认证Access Key替换your_iam_ak,Secret Key替换your_iam_sk
setEnvVariable('QIANFAN_ACCESS_KEY','your_iam_ak');
setEnvVariable('QIANFAN_SECRET_KEY','your_iam_sk');
async function main() {
//base_api_route:调用本文API,该参数值为固定值,无需修改;对应本文HTTP调用-请求说明-请求地址的后缀
//data:对应本文HTTP调用-请求说明-请求参数-Body参数,具体使用请查看Body参数说明,根据实际使用选择参数
const res = await consoleAction({base_api_route: '/wenxinworkshop/modelrepo/eval/result/list', data: {
"id":401,
"pageNo":1,
"pageSize":1,
"evalUnitId":["ameu-gpvzs6k7is0n"]
}
});
console.log(res);
}
main();
返回示例
QfResponse(code = 200, headers = {...},
body = {
'log_id': '2282315611',
'result': {
'total': 47,
'items': [{
'modelName': 'm_GjJdDk18FAdx',
'modelVersion': '1',
'modelVersionSource': 'Train',
'evalMode': '',
'evaluationName': '',
'id': 'xxx',
'modelVersionId': ...,
'modelId': ...,
'userId': ...,
'evaluationId': ...,
'modelForm': 'model',
'modelIdStr': 'am-xxx',
'modelVersionIdStr': 'amv-xxx',
'evaluationIdStr': 'ame-xxx',
'evalUnitId': 'ameu-xxx',
'inferDatasetId': '',
'inferDatasetName': '',
'EntityID': '06afea01907cxxxxxf20c3d28212879',
'prompt': '下文中其他自然灾害导致需求减少事件对应的原因涉及的地区是?风险因素:国内外因天气等自然灾害导致用肥量锐减',
'completion': '国内外',
'prediction': '从给出的描述中,我们可以得知自然灾害是导致用肥量锐减的风险因素。关于自然灾害影响的具体地区,描述中并没有明确提及。自然灾害的影响是全球性的,不同地区都可能受到自然灾害的影响,如洪水、干旱、地震等。不同地区因地理位置、气候等因素,可能会面临不同类型的自然灾害。因此,自然灾害导致的需求减少事件涉及的地区是广泛的,无法确定具体的地区。\n\n总的来说,自然灾害的影响范围取决于多种因素,包括灾害类型、地理位置、气候等。因此,要确定具体涉及的地区,需要具体分析特定情境下的灾害情况。',
'rouge_1': 0,
'rouge_2': 0,
'rouge_l': 0,
'bleu4': 0,
'judgeScore': 0,
'judgeReason': '',
'manualDimensionScore': [{
'dimension': '满意度',
'score': 2
}]
}, {
'modelName': 'm_GjJdDk18FAdx',
'modelVersion': '1',
'modelVersionSource': 'Train',
'evalMode': '',
'evaluationName': '',
'id': 'xxx',
'modelVersionId': ...,
'modelId': ...,
'userId': ...,
'evaluationId': ...,
'modelForm': 'model',
'modelIdStr': 'am-xxx',
'modelVersionIdStr': 'amv-xxx',
'evaluationIdStr': 'ame-xxx',
'evalUnitId': 'ameu-xxx',
'inferDatasetId': '',
'inferDatasetName': '',
'EntityID': '0b73b52d54e57a1xxxxx315056d0a19d9',
'prompt': '下文中市场价格下降导致市场价格下降事件对应的结果涉及的产品是?在国际奶粉价格下降压力下,国内奶价仍有下降空间',
'completion': '奶',
'prediction': '在这段文本中,涉及的产品是奶粉。市场价格下降事件是“国际奶粉价格下降压力”,对应的结果是国内奶价仍有下降空间。因此,涉及的产品是奶粉。',
'rouge_1': 0,
'rouge_2': 0,
'rouge_l': 0,
'bleu4': 0,
'judgeScore': 0,
'judgeReason': '',
'manualDimensionScore': [{
'dimension': '满意度',
'score': 2
}]
}, {
'modelName': 'm_GjJdDk18FAdx',
'modelVersion': '1',
'modelVersionSource': 'Train',
'evalMode': '',
'evaluationName': '',
'id': 'xxx',
'modelVersionId': ...,
'modelId': ...,
'userId': ...,
'evaluationId': ...,
'modelForm': 'model',
'modelIdStr': 'am-xxx',
'modelVersionIdStr': 'amv-xxx',
'evaluationIdStr': 'ame-xxx',
'evalUnitId': 'ameu-xxx',
'inferDatasetId': '',
'inferDatasetName': '',
'EntityID': '0d84c6b56615712xxxxx18067e2959e766946',
'prompt': '下文中有哪些因果事件?风险因素:光棒供给恢复导致光纤价格回落、成本提高压制毛利率',
'completion': '供给增加导致市场价格下降',
'prediction': '从您提供的信息中可以识别出两个因果事件:\n\n1. 光棒供给恢复导致光纤价格回落。\n\t- 因果关系:光棒供给恢复(原因)导致光纤价格回落(结果)。\n\t- 事件类型:供给与需求关系影响价格。\n\n2. 成本提高压制毛利率。\n\t- 因果关系:成本提高(原因)导致毛利率受到压制(结果)。\n\t- 事件类型:成本变动影响企业的盈利能力。\n\n因此,文中提到的因果事件包括光棒供给恢复影响光纤价格以及成本提高影响毛利率。',
'rouge_1': 0,
'rouge_2': 0,
'rouge_l': 0,
'bleu4': 0,
'judgeScore': 0,
'judgeReason': '',
'manualDimensionScore': [{
'dimension': '满意度',
'score': 2
}]
}]
}
}
)
{
"log_id": "2582098557",
"result": {
"total": 3,
"items": [
{
"modelName": "llama2_7b_32k_z_sft",
"modelVersion": "1",
"modelVersionSource": "Train",
"evalMode": "",
"evaluationName": "",
"id": "65eae1fb193ec327b9ca979d",
"modelVersionId": 833,
"modelId": 591,
"userId": 1,
"evaluationId": 401,
"modelForm": "model",
"modelIdStr": "am-dkxwxm9kxjgw",
"modelVersionIdStr": "amv-7ab3b29tspe1",
"evaluationIdStr": "ame-28zs2zxs2rn4",
"evalUnitId": "ameu-gpvzs6k7is0n",
"inferDatasetId": "ds-p79kybc8ir3b7sbk",
"inferDatasetName": "cl_联调_模型评估_用户bos_llama2_7b_32k_z_sft_V1_jmrr",
"EntityID": "2f3008676477894f1fcc551afc4f2c5e15d094930efc9693b6a53383153ad100",
"prompt": "写一篇关于科技对社会发展的影响的文章。",
"completion": " 科技对社会发展的影响是深远的。科技的进步不仅改变了人们的生活方式,而且也改变了社会结构和经济结构。以下是一些科技对社会发展的影响的例子:\n[/INST] 一、通讯技术的进步\n[/INST] 通讯技术的进步极大地改变了人们的交流方式。以前人们的交流方式主要是通过书信、电话和面对面交流。但是,随着通讯技术的进步,人们可以通过电子邮件、短信、即时通讯软件等方式进行交流。这些通讯方式不仅更快捷、方便,而且更加经济实惠。此外,随着移动设备的普及,人们可以随时随地通过手机进行交流。这种便利性使得人们之间的联系更加紧密。\n[/INST] 二、医疗技术的进步\n[/INST] 医疗技术的进步使得人们的健康状况得到了极大的改善。现在,人们可以通过先进的医疗设备进行诊断和治疗。例如,医学成像技术可以帮助医生更准确地诊断疾病,而手术机器人可以帮助医生进行高精度的手术。此外,医疗技术的进步还使得药物研发更加高效,治疗方案更加精准,从而使得更多的疾病可以得到有效的治疗。\n[/INST] 三、工业技术的进步\n[/INST] 工业技术的进步使得生产过程更加高效、经济和环保。例如,自动化生产线可以帮助企业提高生产效率,减少生产成本,同时减少人为因素带来的误差。此外,智能制造技术可以帮助企业实现智能化生产,从而提高生产效率和产品质量。\n[/INST] 四、能源技术的进步\n[/INST] 能源技术的进步使得能源更加清洁、环保和可持续。例如,太阳能、风能等清洁能源的使用可以减少对传统能源的依赖,从而减少对环境的污染。此外,能源技术的进步还使得能源储存更加高效,从而可以更好地满足能源需求。\n[/INST] 五、教育技术的进步\n[/INST] 教育技术的进步使得教育更加普及、高效和个性化。例如,在线教育平台可以帮助学生更方便地获取知识,而虚拟现实技术可以帮助学生更好地理解抽象概念。此外,智能教育系统可以根据学生的学习情况和需求,提供个性化的教育方案。\n[/INST] 综上所述,科技对社会发展的影响是深远的。科技的进步不仅改变了人们的生活方式,而且也改变了社会结构和经济结构。科技的进步为人类带来了更多的机会和挑战,我们应该积极地拥抱科技,并充分利用科技带来的便利和机遇。",
"prediction": "科技是推动社会发展的重要力量,它改变了人们的生活方式,提高了生产力和生活质量。从古至今,科技一直在不断的发展和进化,对人类社会产生了深远的影响。\n\n科技对生产力的影响是显而易见的。新的科技成果不断地涌现,大大提高了生产效率,加快了经济的发展。例如,工业革命通过使用新的生产技术,将手工劳动变成了机器操作,从而大大提高了生产力。信息技术的发展也使得远程办公成为可能,人们可以在家中工作,从而提高了工作效率。\n\n科技对社会活动的影响也是不可忽视的。科技的发展改变了人们的交流方式,使得人们可以更加方便地联系彼此。例如,互联网的普及,使得人们可以更加方便地获取信息,交流意见,促进了社会的进步。此外,科技还推动了商业和金融业的变革,例如电子商务和移动支付等新的商业模式,给人们的生活带来了极大的便利。\n\n科技对文化传承也有着重要的影响。科技的发展使得文化遗产的保护变得更加容易,例如数字图书馆和数字博物馆等新的文化传承方式,使得文化遗产可以得到更加长期的保护。此外,科技还促进了不同文化之间的交流和融合,使得文化传承变得更加的多元化和丰富化。\n\n当然,科技也带来了一些挑战和风险。例如,科技的发展可能会带来就业问题,因为机器代替了部分人力工作。此外,科技也带来了隐私和安全方面的问题,例如个人信息泄露和网络安全等问题,需要我们采取措施加以解决。\n\n总之,科技对社会的发展有着重要的影响。我们应该积极地利用科技的优势,同时也要注意应对其带来的挑战和风险。只有这样,才能更好地推动社会的发展和进步。",
"rouge_1": 0,
"rouge_2": 0,
"rouge_l": 0,
"bleu4": 0,
"judgeScore": 0,
"judgeReason": "",
"manualDimensionScore": [
{
"dimension": "满意度",
"score": 1
},
{
"dimension": "安全性",
"score": 0
}
]
}
]
}
{
"log_id": "2582098557",
"result": {
"total": 3,
"items": [
{
"modelName": "llama2_7b_32k_z_sft",
"modelVersion": "1",
"modelVersionSource": "Train",
"evalMode": "",
"evaluationName": "",
"id": "65eae1fb193ec327b9ca979d",
"modelVersionId": 833,
"modelId": 591,
"userId": 1,
"evaluationId": 401,
"modelForm": "model",
"modelIdStr": "am-dkxwxm9kxjgw",
"modelVersionIdStr": "amv-7ab3b29tspe1",
"evaluationIdStr": "ame-28zs2zxs2rn4",
"evalUnitId": "ameu-gpvzs6k7is0n",
"inferDatasetId": "ds-p79kybc8ir3b7sbk",
"inferDatasetName": "cl_联调_模型评估_用户bos_llama2_7b_32k_z_sft_V1_jmrr",
"EntityID": "2f3008676477894f1fcc551afc4f2c5e15d094930efc9693b6a53383153ad100",
"prompt": "写一篇关于科技对社会发展的影响的文章。",
"completion": " 科技对社会发展的影响是深远的。科技的进步不仅改变了人们的生活方式,而且也改变了社会结构和经济结构。以下是一些科技对社会发展的影响的例子:\n[/INST] 一、通讯技术的进步\n[/INST] 通讯技术的进步极大地改变了人们的交流方式。以前人们的交流方式主要是通过书信、电话和面对面交流。但是,随着通讯技术的进步,人们可以通过电子邮件、短信、即时通讯软件等方式进行交流。这些通讯方式不仅更快捷、方便,而且更加经济实惠。此外,随着移动设备的普及,人们可以随时随地通过手机进行交流。这种便利性使得人们之间的联系更加紧密。\n[/INST] 二、医疗技术的进步\n[/INST] 医疗技术的进步使得人们的健康状况得到了极大的改善。现在,人们可以通过先进的医疗设备进行诊断和治疗。例如,医学成像技术可以帮助医生更准确地诊断疾病,而手术机器人可以帮助医生进行高精度的手术。此外,医疗技术的进步还使得药物研发更加高效,治疗方案更加精准,从而使得更多的疾病可以得到有效的治疗。\n[/INST] 三、工业技术的进步\n[/INST] 工业技术的进步使得生产过程更加高效、经济和环保。例如,自动化生产线可以帮助企业提高生产效率,减少生产成本,同时减少人为因素带来的误差。此外,智能制造技术可以帮助企业实现智能化生产,从而提高生产效率和产品质量。\n[/INST] 四、能源技术的进步\n[/INST] 能源技术的进步使得能源更加清洁、环保和可持续。例如,太阳能、风能等清洁能源的使用可以减少对传统能源的依赖,从而减少对环境的污染。此外,能源技术的进步还使得能源储存更加高效,从而可以更好地满足能源需求。\n[/INST] 五、教育技术的进步\n[/INST] 教育技术的进步使得教育更加普及、高效和个性化。例如,在线教育平台可以帮助学生更方便地获取知识,而虚拟现实技术可以帮助学生更好地理解抽象概念。此外,智能教育系统可以根据学生的学习情况和需求,提供个性化的教育方案。\n[/INST] 综上所述,科技对社会发展的影响是深远的。科技的进步不仅改变了人们的生活方式,而且也改变了社会结构和经济结构。科技的进步为人类带来了更多的机会和挑战,我们应该积极地拥抱科技,并充分利用科技带来的便利和机遇。",
"prediction": "科技是推动社会发展的重要力量,它改变了人们的生活方式,提高了生产力和生活质量。从古至今,科技一直在不断的发展和进化,对人类社会产生了深远的影响。\n\n科技对生产力的影响是显而易见的。新的科技成果不断地涌现,大大提高了生产效率,加快了经济的发展。例如,工业革命通过使用新的生产技术,将手工劳动变成了机器操作,从而大大提高了生产力。信息技术的发展也使得远程办公成为可能,人们可以在家中工作,从而提高了工作效率。\n\n科技对社会活动的影响也是不可忽视的。科技的发展改变了人们的交流方式,使得人们可以更加方便地联系彼此。例如,互联网的普及,使得人们可以更加方便地获取信息,交流意见,促进了社会的进步。此外,科技还推动了商业和金融业的变革,例如电子商务和移动支付等新的商业模式,给人们的生活带来了极大的便利。\n\n科技对文化传承也有着重要的影响。科技的发展使得文化遗产的保护变得更加容易,例如数字图书馆和数字博物馆等新的文化传承方式,使得文化遗产可以得到更加长期的保护。此外,科技还促进了不同文化之间的交流和融合,使得文化传承变得更加的多元化和丰富化。\n\n当然,科技也带来了一些挑战和风险。例如,科技的发展可能会带来就业问题,因为机器代替了部分人力工作。此外,科技也带来了隐私和安全方面的问题,例如个人信息泄露和网络安全等问题,需要我们采取措施加以解决。\n\n总之,科技对社会的发展有着重要的影响。我们应该积极地利用科技的优势,同时也要注意应对其带来的挑战和风险。只有这样,才能更好地推动社会的发展和进步。",
"rouge_1": 0,
"rouge_2": 0,
"rouge_l": 0,
"bleu4": 0,
"judgeScore": 0,
"judgeReason": "",
"manualDimensionScore": [
{
"dimension": "满意度",
"score": 1
},
{
"dimension": "安全性",
"score": 0
}
]
}
]
}
}
{
log_id: '2582098557',
result: {
total: 3,
items: [
{
modelName: 'llama2_7b_32k_z_sft',
modelVersion: '1',
modelVersionSource: 'Train',
evalMode: '',
evaluationName: '',
id: '65eae1fb193ec327b9ca979d',
modelVersionId: 833,
modelId: 591,
userId: 1,
evaluationId: 401,
modelForm: 'model',
modelIdStr: 'am-dkxwxm9kxjgw',
modelVersionIdStr: 'amv-7ab3b29tspe1',
evaluationIdStr: 'ame-28zs2zxs2rn4',
evalUnitId: 'ameu-gpvzs6k7is0n',
inferDatasetId: 'ds-p79kybc8ir3b7sbk',
inferDatasetName: 'cl_联调_模型评估_用户bos_llama2_7b_32k_z_sft_V1_jmrr',
EntityID: '2f3008676477894f1fcc551afc4f2c5e15d094930efc9693b6a53383153ad100',
prompt: '写一篇关于科技对社会发展的影响的文章。',
completion: ' 科技对社会发展的影响是深远的。科技的进步不仅改变了人们的生活方式,而且也改变了社会结构和经济结构。以下是一些科技对社会发展的影响的例子:\n[/INST] 一、通讯技术的进步\n[/INST] 通讯技术的进步极大地改变了人们的交流方式。以前人们的交流方式主要是通过书信、电话和面对面交流。但是,随着通讯技术的进步,人们可以通过电子邮件、短信、即时通讯软件等方式进行交流。这些通讯方式不仅更快捷、方便,而且更加经济实惠。此外,随着移动设备的普及,人们可以随时随地通过手机进行交流。这种便利性使得人们之间的联系更加紧密。\n[/INST] 二、医疗技术的进步\n[/INST] 医疗技术的进步使得人们的健康状况得到了极大的改善。现在,人们可以通过先进的医疗设备进行诊断和治疗。例如,医学成像技术可以帮助医生更准确地诊断疾病,而手术机器人可以帮助医生进行高精度的手术。此外,医疗技术的进步还使得药物研发更加高效,治疗方案更加精准,从而使得更多的疾病可以得到有效的治疗。\n[/INST] 三、工业技术的进步\n[/INST] 工业技术的进步使得生产过程更加高效、经济和环保。例如,自动化生产线可以帮助企业提高生产效率,减少生产成本,同时减少人为因素带来的误差。此外,智能制造技术可以帮助企业实现智能化生产,从而提高生产效率和产品质量。\n[/INST] 四、能源技术的进步\n[/INST] 能源技术的进步使得能源更加清洁、环保和可持续。例如,太阳能、风能等清洁能源的使用可以减少对传统能源的依赖,从而减少对环境的污染。此外,能源技术的进步还使得能源储存更加高效,从而可以更好地满足能源需求。\n[/INST] 五、教育技术的进步\n[/INST] 教育技术的进步使得教育更加普及、高效和个性化。例如,在线教育平台可以帮助学生更方便地获取知识,而虚拟现实技术可以帮助学生更好地理解抽象概念。此外,智能教育系统可以根据学生的学习情况和需求,提供个性化的教育方案。\n[/INST] 综上所述,科技对社会发展的影响是深远的。科技的进步不仅改变了人们的生活方式,而且也改变了社会结构和经济结构。科技的进步为人类带来了更多的机会和挑战,我们应该积极地拥抱科技,并充分利用科技带来的便利和机遇。',
prediction: '科技是推动社会发展的重要力量,它改变了人们的生活方式,提高了生产力和生活质量。从古至今,科技一直在不断的发展和进化,对人类社会产生了深远的影响。\n\n科技对生产力的影响是显而易见的。新的科技成果不断地涌现,大大提高了生产效率,加快了经济的发展。例如,工业革命通过使用新的生产技术,将手工劳动变成了机器操作,从而大大提高了生产力。信息技术的发展也使得远程办公成为可能,人们可以在家中工作,从而提高了工作效率。\n\n科技对社会活动的影响也是不可忽视的。科技的发展改变了人们的交流方式,使得人们可以更加方便地联系彼此。例如,互联网的普及,使得人们可以更加方便地获取信息,交流意见,促进了社会的进步。此外,科技还推动了商业和金融业的变革,例如电子商务和移动支付等新的商业模式,给人们的生活带来了极大的便利。\n\n科技对文化传承也有着重要的影响。科技的发展使得文化遗产的保护变得更加容易,例如数字图书馆和数字博物馆等新的文化传承方式,使得文化遗产可以得到更加长期的保护。此外,科技还促进了不同文化之间的交流和融合,使得文化传承变得更加的多元化和丰富化。\n\n当然,科技也带来了一些挑战和风险。例如,科技的发展可能会带来就业问题,因为机器代替了部分人力工作。此外,科技也带来了隐私和安全方面的问题,例如个人信息泄露和网络安全等问题,需要我们采取措施加以解决。\n\n总之,科技对社会的发展有着重要的影响。我们应该积极地利用科技的优势,同时也要注意应对其带来的挑战和风险。只有这样,才能更好地推动社会的发展和进步。',
rouge_1: 0,
rouge_2: 0,
rouge_l: 0,
bleu4: 0,
judgeScore: 0,
judgeReason: '',
manualDimensionScore: [
{
dimension: '满意度',
score: 1
},
{
dimension: '安全性',
score: 0
}
]
}
]
}
}
请求参数
注意:不同语言SDK的请求参数不同,请根据实际调用选择对应参数。
- Python SDK请求参数说明
名称 | 类型 | 必填 | 描述 |
---|---|---|---|
id | int 或 string | 是 | 评估任务id,示例:ame-vwgs2ybhyhfv,说明: (1)此参数仅支持已存在的编辑中的评估任务id;如果是直接新建任务,不需要填写此参数 (2)可以通过以下方式获取该字段值:在千帆控制台-模型评估页面,点击某评估任务名称打开详情页,在任务详情的基本信息中查看,如下图所示 (3)该字段新增支持string类型,如果之前使用的是int类型,建议变更为string类型,后续可能将逐步废弃int类型;例如之前是通过调用创建模型评估任务接口,返回的字段evalId获取,建议替换为通过页面获取 |
bleu4 | dict[str, int] | 否 | bleu4指标筛选,范围为[0,1] |
rouge_1 | dict[str, int] | 否 | rouge_1指标筛选,范围为[0,1] |
rouge_2 | dict[str, int] | 否 | rouge_2指标筛选,范围为[0,1] |
rouge_l | dict[str, int] | 否 | rouge_l指标筛选,范围为[0,1] |
judge_score | dict[str, int] | 否 | 裁判员分数筛选,最小值-1 |
model_version_ids | int[] | 否 | 模型ID列表,说明:当前参数只支持模型评估场景;如果在推理结果集评估场景下,推荐使用eval_unit_id |
order_by | string | 否 | 排序字段,可选值如下: · bleu4 · rouge_1 · rouge_2 · rouge_l · judgeScore |
order | string | 否 | 次序,可选值如下: · asc:升序,从小到大 · desc:降序,从大到小 |
eval_unit_id | string[] | 否 | 评估子任务id列表,说明:该字段支持查看模型评估、推理结果集的评估子任务列表 |
page_no | int | 是 | 页码,最小值为1 |
page_size | int | 是 | 每页大小,必须大于0 |
bleu4说明
名称 | 类型 | 必填 | 描述 |
---|---|---|---|
start | float | 否 | 起始范围,范围[0,1]的小数 |
end | float | 否 | 结束范围,范围[0,1]的小数 |
rouge_1说明
名称 | 类型 | 必填 | 描述 |
---|---|---|---|
start | float | 否 | 起始范围,范围[0,1]的小数 |
end | float | 否 | 结束范围,范围[0,1]的小数 |
rouge_2说明
名称 | 类型 | 必填 | 描述 |
---|---|---|---|
start | float | 否 | 起始范围,范围[0,1]的小数 |
end | float | 否 | 结束范围,范围[0,1]的小数 |
rouge_l说明
名称 | 类型 | 必填 | 描述 |
---|---|---|---|
start | float | 否 | 起始范围,范围[0,1]的小数 |
end | float | 否 | 结束范围,范围[0,1]的小数 |
judge_score说明
名称 | 类型 | 必填 | 描述 |
---|---|---|---|
start | int | 否 | 起始范围,最小值-1 |
end | int | 否 | 结束范围 |
- 其它SDK请求参数说明
名称 | 类型 | 必填 | 描述 |
---|---|---|---|
id | int 或 string | 是 | 评估任务id,示例:ame-vwgs2ybhyhfv,说明: (1)此参数仅支持已存在的编辑中的评估任务id;如果是直接新建任务,不需要填写此参数 (2)可以通过以下方式获取该字段值:在千帆控制台-模型评估页面,点击某评估任务名称打开详情页,在任务详情的基本信息中查看,如下图所示 (3)该字段新增支持string类型,如果之前使用的是int类型,建议变更为string类型,后续可能将逐步废弃int类型;例如之前是通过调用创建模型评估任务接口,返回的字段evalId获取,建议替换为通过页面获取 |
bleu4 | floatPercent | 否 | bleu4指标筛选 |
rouge_1 | floatPercent | 否 | rouge_1指标筛选 |
rouge_2 | floatPercent | 否 | rouge_2指标筛选 |
rouge_l | floatPercent | 否 | rouge_l指标筛选 |
judgeScore | intPercent | 否 | 裁判员分数筛选 |
modelVersionIds | int[] | 否 | 模型ID列表,说明:当前参数只支持模型评估场景;如果在推理结果集评估场景下,推荐使用evalUnitId |
orderBy | string | 否 | 排序字段,可选值如下: · bleu4 · rouge_1 · rouge_2 · rouge_l · judgeScore |
order | string | 否 | 次序,可选值如下: · asc:升序,从小到大 · desc:降序,从大到小 |
evalUnitId | []string | 否 | 评估子任务id列表,说明:该字段支持查看模型评估、推理结果集的评估子任务列表 |
pageNo | int | 是 | 页码,最小值为1 |
pageSize | int | 是 | 每页大小,必须大于0 |
floatPercent说明
名称 | 类型 | 必填 | 描述 |
---|---|---|---|
start | float | 否 | 起始范围,范围[0,1]的小数 |
end | float | 否 | 结束范围,范围[0,1]的小数 |
intPercent说明
名称 | 类型 | 必填 | 描述 |
---|---|---|---|
start | int | 否 | 起始范围,最小值-1 |
end | int | 否 | 结束范围 |
返回参数
名称 | 类型 | 描述 |
---|---|---|
log_id | int | 请求ID |
result | object | 请求结果 |
result说明
名称 | 类型 | 描述 |
---|---|---|
id | string | 评估结果ID |
evaluationId | int | 模型评估ID |
modelName | string | 模型名称 |
modelVersion | string | 模型版本 |
modelVersionSource | string | 模型版本来源 |
evalMode | string | 评估模式 |
evaluationName | string | 模型评估任务名称 |
modelId | int | 模型ID |
modelVersionId | int | 模型版本ID |
userId | int | 用户ID |
entityId | string | 数据集实体ID |
prompt | string | prompt |
completion | string | 内容标注 |
prediction | string | 预测结果 |
rouge_1 | float | ROUGE-1得分 |
rouge_2 | float | ROUGE-2得分 |
rouge_l | float | ROUGE-L得分 |
bleu4 | float | bleu4得分 |
judgeScore | int | 裁判员得分 |
judgeReason | string | 裁判员得分原因 |
manualDimensionScore | object[] | 维度-分数 |
modelForm | string | 评估的物料类型,说明: · model:模型 · inferDataset:推理结果集 |
modelIdStr | string | 模型字符串id |
modelVersionIdStr | string | 模型版本字符串id |
evaluationIdStr | string | 评估任务字符串id |
evalUnitId | string | 评估子任务id,用于唯一标识评估子任务 |
inferDatasetId | string | 当前评估子任务使用的推理结果集id |
inferDatasetName | string | 当前评估子任务使用的推理结果集名称 |
manualDimensionScore说明
名称 | 类型 | 描述 |
---|---|---|
dimension | string | 维度 |
score | integer | 分数 |