Prompt评估总结
更新时间：2024-09-23
注意：
- 为提升开发者使用体验，推荐使用Prompt工程V2版本接口，功能更全面、且接口更规范，详见Prompt工程API列表。
- Prompt工程V1版本接口功能不再升级，本文档于2024年8月5日下线；由于V1版本接口后续可能下线停止服务，为避免影响使用，建议接入Prompt工程V2版本接口。
功能介绍
本接口用于Prompt模板与语料评估，支持精准匹配、正则匹配以及语义相似多种评估方法。
SDK调用
使用说明
调用本文API，需使用安全认证AK/SK鉴权，调用流程及鉴权介绍详见SDK安装及使用流程。
调用示例
import os
from qianfan.resources import Prompt
# 使用安全认证AK/SK鉴权，通过环境变量方式初始化；替换下列示例中参数，安全认证Access Key替换your_iam_ak，Secret Key替换your_iam_sk
os.environ["QIANFAN_ACCESS_KEY"] = "your_iam_ak"
os.environ["QIANFAN_SECRET_KEY"] = "your_iam_sk"
from qianfan.resources import Prompt
resp = Prompt.evaluation_score(
type=1,
data=[
{
"response_list": {"job": "程序员"},
"scene": "代码"
},
{
"response_list": {"job": "产品经理"},
"scene": "用户量"
}
]
)返回示例
QfResponse(
code = 200,
headers = {...},
body = {
'log_id': 'ymyifv8qxwk01n4b',
'result': {
'logID': 6329509409475443944,
'scores': [
[0.7990033679792103],
[0.9218397513286832]
],
'errorCode': 0,
'errorMsg': ''
},
'status': 200,
'success': True
},
statistic = {...},
request = QfRequest(...)
)请求参数
| 名称 | 类型 | 必填 | 描述 |
|---|---|---|---|
| type | int | 是 | 推理评分标准，可选值如下： · 3：exact，精准匹配 · 2：regex，正则匹配 · 1：semantic，语义相似 |
| data | list[data] | 是 | 推理相关场景目标生成结果和Prompt的推理结果 |
data说明
| 名称 | 类型 | 必填 | 描述 |
|---|---|---|---|
| scene | string | 是 | 场景目标生成结果 |
| response_list | list[string] | 是 | 该场景下不同推理结果返回 |
返回参数
| 名称 | 类型 | 描述 |
|---|---|---|
| log_id | string | 操作记录id |
| result | dict | 返回结果 |
| status | int | 状态码 |
| success | bool | 是否操作成功，说明： · true：成功 · false：失败 |
result说明
| 名称 | 类型 | 描述 |
|---|---|---|
| logID | int | logID |
| scores | list[list[float]] | 返回的推理结果的评分 |
| errorCode | int | 错误码 |
| errorMsg | string | 错误消息 |
HTTP调用
鉴权说明
调用本文API，使用“基于安全认证AK/SK”进行签名计算鉴权，即使用安全认证中的Access Key ID 和 Secret Access Key进行鉴权，具体鉴权认证机制参考HTTP调用鉴权说明。
请求说明
- 基本信息
请求地址： https://qianfan.baidubce.com/wenxinworkshop/prompt/evaluate/predict
请求方式： POST
- Header参数
| 名称 | 类型 | 必填 | 描述 |
|---|---|---|---|
| Content-Type | string | 是 | 固定值application/json |
| x-bce-date | string | 否 | 当前时间，遵循ISO8601规范，格式如2016-04-06T08:23:49Z |
| Authorization | string | 是 | 用于验证请求合法性的认证信息，更多内容请参考鉴权认证机制，签名工具可参考IAM签名工具 |
- Body参数
| 名称 | 类型 | 必填 | 描述 |
|---|---|---|---|
| type | int | 是 | 推理评分标准，可选值如下： · 3 ：exact，精准匹配 · 2：regex，正则匹配 · 1：semantic，语义相似 |
| data | array[data] | 是 | 推理相关场景目标生成结果和Prompt的推理结果 |
data说明
| 名称 | 类型 | 必填 | 描述 |
|---|---|---|---|
| scene | string | 是 | 场景目标生成结果 |
| response_list | array[string] | 是 | 该场景下不同推理结果返回 |
响应说明
| 名称 | 类型 | 描述 |
|---|---|---|
| log_id | string | 操作记录id |
| result | object | 返回结果 |
| status | int | 状态码 |
| success | bool | 是否操作成功，说明： · true：成功 · false：失败 |
result说明
| 名称 | 类型 | 描述 |
|---|---|---|
| logID | int | logID |
| scores | array[array[float]] | 返回的推理结果的评分 |
| errorCode | int | 错误码 |
| errorMsg | string | 错误消息 |
请求示例
# 替换下列示例中的Authorization值、x-bce-date值
curl -i --location 'https://qianfan.baidubce.com/wenxinworkshop/prompt/evaluate/predict' \
--header 'Authorization: bce-auth-v1/f0ee7axxxx/2023-09-19T13:42:13Z/180000/host;x-bce-date/9a8cfb8ee58a8f44a21axxxxx23d080016e374525543' \
--header 'x-bce-date: 2023-09-19T13:37:10Z' \
--header 'Content-Type: application/json' \
--data '{
"type":1,
"data":[
{
"scene":"请帮我计算一下2+3等于多少？只返回计算结果",
"response_list":[
"5",
"2+3=5"
]
}
]
}'响应示例
{
"log_id":"9ih8evsperpdvkxk",
"result":{
"logID":2,
"scores":[
[
0.1,
0.2
]
],
"errorCode":0,
"errorMsg":""
},
"status":200,
"success":true
}错误码
若请求错误，服务器将返回的JSON文本包含以下参数：
| 名称 | 描述 |
|---|---|
| error_code | 错误码 |
| error_msg | 错误描述信息，帮助理解和解决发生的错误 |
例如Access Token失效返回：
{
"error_code": 110,
"error_msg": "Access token invalid or no longer valid"
}更多其他错误码，也可以查看错误码说明。