Prompt评估打分
更新时间:2024-09-23
注意:
- 为提升开发者使用体验,推荐使用Prompt工程V2版本接口,功能更全面、且接口更规范,详见Prompt工程API列表。
- Prompt工程V1版本接口功能不再升级,本文档于2024年8月5日下线;由于V1版本接口后续可能下线停止服务,为避免影响使用,建议接入Prompt工程V2版本接口。
功能介绍
本接口用于Prompt模板与语料评估,支持精准匹配、正则匹配以及语义相似多种评估方法。
SDK调用
使用说明
调用本文API,需使用安全认证AK/SK鉴权,调用流程及鉴权介绍详见SDK安装及使用流程。
调用示例
import os
from qianfan.resources import Prompt
# 使用安全认证AK/SK鉴权,通过环境变量方式初始化;替换下列示例中参数,安全认证Access Key替换your_iam_ak,Secret Key替换your_iam_sk
os.environ["QIANFAN_ACCESS_KEY"] = "your_iam_ak"
os.environ["QIANFAN_SECRET_KEY"] = "your_iam_sk"
from qianfan.resources import Prompt
resp = Prompt.evaluation_score(
type=1,
data=[
{
"response_list": {"job": "程序员"},
"scene": "代码"
},
{
"response_list": {"job": "产品经理"},
"scene": "用户量"
}
]
)
返回示例
QfResponse(
code = 200,
headers = {...},
body = {
'log_id': 'ymyifv8qxwk01n4b',
'result': {
'logID': 6329509409475443944,
'scores': [
[0.7990033679792103],
[0.9218397513286832]
],
'errorCode': 0,
'errorMsg': ''
},
'status': 200,
'success': True
},
statistic = {...},
request = QfRequest(...)
)
请求参数
名称 | 类型 | 必填 | 描述 |
---|---|---|---|
type | int | 是 | 推理评分标准,可选值如下: · 3:exact,精准匹配 · 2:regex,正则匹配 · 1:semantic,语义相似 |
data | list[data] | 是 | 推理相关场景目标生成结果和Prompt的推理结果 |
data说明
名称 | 类型 | 必填 | 描述 |
---|---|---|---|
scene | string | 是 | 场景目标生成结果 |
response_list | list[string] | 是 | 该场景下不同推理结果返回 |
返回参数
名称 | 类型 | 描述 |
---|---|---|
log_id | string | 操作记录id |
result | dict | 返回结果 |
status | int | 状态码 |
success | bool | 是否操作成功,说明: · true:成功 · false:失败 |
result说明
名称 | 类型 | 描述 |
---|---|---|
logID | int | logID |
scores | list[list[float]] | 返回的推理结果的评分 |
errorCode | int | 错误码 |
errorMsg | string | 错误消息 |
HTTP调用
鉴权说明
调用本文API,使用“基于安全认证AK/SK”进行签名计算鉴权,即使用安全认证中的Access Key ID 和 Secret Access Key进行鉴权,具体鉴权认证机制参考HTTP调用鉴权说明。
请求说明
- 基本信息
请求地址: https://qianfan.baidubce.com/wenxinworkshop/prompt/evaluate/predict
请求方式: POST
- Header参数
名称 | 类型 | 必填 | 描述 |
---|---|---|---|
Content-Type | string | 是 | 固定值application/json |
x-bce-date | string | 否 | 当前时间,遵循ISO8601规范,格式如2016-04-06T08:23:49Z |
Authorization | string | 是 | 用于验证请求合法性的认证信息,更多内容请参考鉴权认证机制,签名工具可参考IAM签名工具 |
- Body参数
名称 | 类型 | 必填 | 描述 |
---|---|---|---|
type | int | 是 | 推理评分标准,可选值如下: · 3 :exact,精准匹配 · 2:regex,正则匹配 · 1:semantic,语义相似 |
data | array[data] | 是 | 推理相关场景目标生成结果和Prompt的推理结果 |
data说明
名称 | 类型 | 必填 | 描述 |
---|---|---|---|
scene | string | 是 | 场景目标生成结果 |
response_list | array[string] | 是 | 该场景下不同推理结果返回 |
响应说明
名称 | 类型 | 描述 |
---|---|---|
log_id | string | 操作记录id |
result | object | 返回结果 |
status | int | 状态码 |
success | bool | 是否操作成功,说明: · true:成功 · false:失败 |
result说明
名称 | 类型 | 描述 |
---|---|---|
logID | int | logID |
scores | array[array[float]] | 返回的推理结果的评分 |
errorCode | int | 错误码 |
errorMsg | string | 错误消息 |
请求示例
# 替换下列示例中的Authorization值、x-bce-date值
curl -i --location 'https://qianfan.baidubce.com/wenxinworkshop/prompt/evaluate/predict' \
--header 'Authorization: bce-auth-v1/f0ee7axxxx/2023-09-19T13:42:13Z/180000/host;x-bce-date/9a8cfb8ee58a8f44a21axxxxx23d080016e374525543' \
--header 'x-bce-date: 2023-09-19T13:37:10Z' \
--header 'Content-Type: application/json' \
--data '{
"type":1,
"data":[
{
"scene":"请帮我计算一下2+3等于多少?只返回计算结果",
"response_list":[
"5",
"2+3=5"
]
}
]
}'
响应示例
{
"log_id":"9ih8evsperpdvkxk",
"result":{
"logID":2,
"scores":[
[
0.1,
0.2
]
],
"errorCode":0,
"errorMsg":""
},
"status":200,
"success":true
}
错误码
若请求错误,服务器将返回的JSON文本包含以下参数:
名称 | 描述 |
---|---|
error_code | 错误码 |
error_msg | 错误描述信息,帮助理解和解决发生的错误 |
例如Access Token失效返回:
{
"error_code": 110,
"error_msg": "Access token invalid or no longer valid"
}
更多其他错误码,也可以查看错误码说明。