Prompt评估总结
更新时间:2024-11-04
注意: 为提升开发者使用体验,本文内容已合并至对应API文档,请查看API鉴权及调用-Prompt工程-Prompt工程V1-Prompt评估总结文档;本文档已于2024年6月28日在平台文档中心下线,内容不再更新。
功能介绍
用于针对Prompt推理评分结果进行总结提炼。
注意事项
调用本文API,需使用安全认证AK/SK鉴权,调用流程及鉴权介绍详见SDK安装及使用流程。
调用示例
import os
from qianfan.resources import Prompt
# 使用安全认证AK/SK鉴权,通过环境变量方式初始化;替换下列示例中参数,安全认证Access Key替换your_iam_ak,Secret Key替换your_iam_sk
os.environ["QIANFAN_ACCESS_KEY"] = "your_iam_ak"
os.environ["QIANFAN_SECRET_KEY"] = "your_iam_sk"
resp = Prompt.evaluation_summary(
data=[
{
"prompt":"请帮我计算一下{formula}等于多少?只返回计算结果",
"scene":[
{
"variables":{
"formula":"45+43"
},
"expected_target":"88",
"response":"计算结果为: 45+43=88",
"new_prompt":"请帮我计算一下45+43等于多少?只返回计算结果"
}
],
"response_list":[
"response1",
"response2"
]
}
]
)
print(resp)
返回示例
QfResponse(
code=200,
headers={...},
body={
'log_id': '3ny420sdu4mb43dy',
'result': {
'responses': [
{
'response': '从给定的提示词模版和两个场景中,我们可以从以下几个方面评价提示词模版撰写的好坏:\n\n1. **明确性**:提示词模版应该清晰明确,让用户知道需要做什么以及如何做。在场景1中,提示词模版明确地要求计算45+43的结果,并且只返回计算结果。这使得用户能够清楚地理解任务,并按照要求进行操作。\n2. **简洁性**:提示词模版应该简洁明了,避免冗余和不必要的复杂性。场景1中的提示词模版简洁明了,没有多余的词汇或复杂的表述。\n3. **通用性**:提示词模版应该尽可能地适应不同的场景和需求。在场景1中,提示词模版可以用于计算任何简单的加法问题,而不仅仅是45+43。这表明该模版具有一定的通用性。\n4. **一致性**:提示词模版应该保持一致性,以便用户能够轻松地理解和使用。在给定的场景中,提示词模版始终要求返回计算结果,这保持了一致性。\n5. **用户友好性**:提示词模版应该友好地对待用户,避免使用过于专业或复杂的词汇。在场景1中,提示词模版使用了简单的词汇和表述,使得任何用户都能够轻松理解并执行。\n\n综上所述,提示词模版在明确性、简洁性、通用性、一致性和用户友好性方面都表现良好。它能够清晰地指导用户进行计算,并且适用于不同的场景。因此,该提示词模版撰写得很好。', 'id': '', 'errorCode': 0, 'errorMsg': ''}
]
},
'status': 200,
'success': True
},
statistic={...},
request=QfRequest(...)
)
参数说明
请求参数
名称 | 类型 | 必填 | 描述 |
---|---|---|---|
data | list[data] | 是 | Prompt信息、场景相关信息和对应推理结果 |
data说明
名称 | 类型 | 必填 | 描述 |
---|---|---|---|
prompt | string | 是 | 原始prompt |
scene | list[scene] | 是 | 多场景相关信息 |
response_list | list[string] | 是 | 该场景下不同推理结果返回 |
scene说明
名称 | 类型 | 必填 | 描述 |
---|---|---|---|
variables | dict | 否 | prompt中的变量, 如果有需要填入。示例:"variables": {"formula": "45+43"} |
expected_target | string | 是 | 场景目标生成结果 |
response | string | 是 | 推理结果 |
new_prompt | string | 是 | prompt中变量替换为实际值后的结果 |
variables说明
名称 | 类型 | 必填 | 描述 |
---|---|---|---|
变量名1 | string | 否 | 变量值1,示例 {"formula": "45+43"} |
变量名2 | string | 否 | 变量值2 |
变量名n | string | 否 | 变量值n |
响应参数
名称 | 类型 | 描述 |
---|---|---|
log_id | string | 操作记录id |
result | dict | 返回结果 |
status | int | 状态码 |
success | bool | 是否操作成功,说明: true:成功 false:失败 |
result说明
名称 | 类型 | 描述 |
---|---|---|
responses | list[response] | 返回结果 |
response说明
名称 | 类型 | 描述 |
---|---|---|
response | string | 总结结果 |
id | string | 日志id |
errorCode | int | 错误码 |
errorMsg | string | 错误消息 |