查看模型评估任务详情 - ModelBuilder
evalInferDatasetConfig object 评估结果集配置信息 evalInferDatasetConfig说明 评估结果集对象的配置信息 名称 类型 描述 evalInferDatasetConfigList List<object> 评估子对象配置列表 evalInferDatasetConfigList说明 名称 类型 描述 inferDatasetId string
查看模型评估任务列表 - ModelBuilder
TODO ( ) , // 调用本文API，该参数值为固定值，无需修改；对应本文HTTP调用-请求说明-请求地址的后缀 /v2/eval , // 调用本文API，该参数值为固定值，无需修改；对应本文HTTP调用-请求说明-请求参数-Query参数的Action DescribeEvalTasks , // 对应本文HTTP调用-请求说明-请求参数-Body参数，具体使用请查看Body参数说明
查看模型评估任务报告 - ModelBuilder
QIANFAN_ACCESS_KEY ] = your_access_key os . environ [ QIANFAN_SECRET_KEY ] = your_secret_key resp = resources . console . utils . call_action ( # 调用本文API，该参数值为固定值，无需修改；对应本文HTTP调用-请求说明-请求地址的后缀 /v2/eval
创建模型评估任务 - ModelBuilder
说明： （1）可选值如下： · similarity ：表示相似度打分 · accuracy：表述准确率打分 （2）当evalMode参数中包含rule，即存在规则评估模式时，此字段必填 appId number 是 裁判员模型的应用APPID，说明： · 当evalMode参数中包含model，即存在裁判员评估模式时，此字段必填 · 在 控制台-应用接入列表 查看该字段值，如下图所示： prompt
查看模型评估报告 - ModelBuilder
TODO ( ) , // 调用本文API，该参数值为固定值，无需修改；对应本文HTTP调用-请求说明-请求地址的后缀 /wenxinworkshop/modelrepo/eval/report , , // 对应本文HTTP调用-请求说明-请求参数-Body参数，具体使用请查看Body参数说明，根据实际使用选择参数 map [ string ] interface { } { id
查看模型评估任务列表 - ModelBuilder
description string 评估任务描述 createTime string 创建时间 请求示例 Bash curl -i --location 'https://qianfan.baidubce.com/v2/eval?
【千帆SDK+】OpenCompass评测功能的使用 千帆社区
本教程准备了一份专门用于评估的数据集，存放在 data_file/eval_dataset.csv 中 from qianfan.dataset import Dataset ds = Dataset.load(data_file= data_file/eval_dataset.csv , eval_input_column= input_prompt , eval_llm_output_column
查看模型评估详情 - ModelBuilder
Model . get_evaluation_info ( eval_id = ame-vwgsxxxhyhfv ) print ( resp ) package main import ( context fmt os github.com/baidubce/bce-qianfan-sdk/go/qianfan ) func main ( ) { // 使用安全认证AK/SK鉴权
查看模型评估结果导出任务状态 - ModelBuilder
TODO ( ) , // 调用本文API，该参数值为固定值，无需修改；对应本文HTTP调用-请求说明-请求地址的后缀 /wenxinworkshop/modelrepo/eval/result/export/info , , // 对应本文HTTP调用-请求说明-请求参数-Body参数，具体使用请查看Body参数说明，根据实际使用选择参数 map [ string ] interface
【千帆SDK】利用千帆平台能力实现大模型全流程开发 千帆社区
缓冲，等待任务真正开始运行 time.sleep(5) while True: eval_info = Model.get_evaluation_info(eval_task_id) eval_state = eval_info[ result ][ state ] print( current eval_state: , eval_state) if eval_state !
