创建批量预测任务
创建批量预测任务,实现异步批量处理模型推理请求,并返回任务ID和状态信息
权限说明
调用本文API,需使用API Key鉴权方式。使用API Key鉴权调用API流程,具体调用流程,请查看认证鉴权。
请求参数
最大运行时间,支持1-672h可选值。
任务处理的时间窗口,格式为数字加小时单位(如:24h),用于控制批量任务的最长运行时长。
API端点路径,chat与视觉理解模型为:/v2/chat/completions,图像生成为:/v2/images/generations,图像编辑为:/v2/images/edits。
指定批量任务调用的具体API接口路径,需要与输入文件中的请求保持一致。
已上传文件的ID,使用files接口上传文件,文件格式需要为jsonl,purpose需要为batch,文件中请求最多5000个,文件最大1G。
批量任务的输入文件唯一标识,该文件包含待处理的推理请求列表。
存储附加信息,16个key-value对存储。
用于存储自定义元数据的键值对对象,最多支持16个键值对,用于标记和管理批量任务。
显示子属性
隐藏子属性
替换文件中model参数。
可选的替换配置对象,用于统一覆盖输入文件中所有请求的模型参数。
显示子属性
隐藏子属性
模型参数,用于替换输入文件中的model字段值。
POST /v2/batches HTTP/1.1
HOST: qianfan.baidubce.com
Authorization: Bearer <API Key>
Content-Type: application/json
{
"completion_window": "24h",
"endpoint": "/v2/chat/completions",
"input_file_id": "file-0ymqje89qb",
"metadata": {
"a": 8,
"b": "value"
},
"replace": {
"model": "amv-5keddir3d9z6"
}
}
示例代码
创建一个批量预测任务的标准请求示例
curl -X POST "https://qianfan.baidubce.com/v2/batches" \
-H "Authorization: Bearer bce-v3/ALTAK-******ZftZDTn7/125eeb1c5e9ddc8cf3edf18ef6d03f1517ec9408" \
-H "Content-Type: application/json" \
-d '{
"completion_window": "24h",
"endpoint": "/v2/chat/completions",
"input_file_id": "file-0ymqje89qb",
"metadata": {
"a": 8,
"b": "value"
},
"replace": {
"model": "amv-5keddir3d9z6"
}
}'
返回响应
多选一且必需“只能”符合其中一个
显示子属性
隐藏子属性
成功响应时的返回格式
显示子属性
隐藏子属性
批量任务ID。
批量预测任务的唯一标识,用于查询和管理该任务。
对象类型,返回"batch"。
标识响应对象的类型,固定返回值为"batch"。
API端点路径,需要与输入文件中的url字段保持一致。
批量任务实际调用的API接口路径。
模型参数。
批量任务使用的模型标识。
任务级别错误码。
记录批量任务整体执行过程中的错误信息,任务正常时为null。
显示子属性
隐藏子属性
batch文件的ID。
输入文件的唯一标识。
任务处理时间,只能填"1-672h"。
批量任务的最大运行时间窗口。
batch的当前状态,Running: 运行中,
Done: 运行完成,
Stopped: 运行中止,
Failed: 运行失败,
Expired: 运行超时。
批量任务的实时执行状态,用于跟踪任务进度。
成功处理后的文件ID。
包含成功处理结果的输出文件唯一标识,任务未完成时为null。
错误请求的文件ID。
包含失败请求信息的错误文件唯一标识,无错误时为null。
batch被创建的时间。
批量任务创建的时间戳,格式为Unix时间戳(秒)。
batch开始处理的时间。
批量任务开始执行的时间戳,未开始时为null。
batch将会过期的时间点。
批量任务的过期时间戳,超过此时间任务将被标记为过期。
batch开始完成的时间。
批量任务进入最终处理阶段的时间戳,未到达此阶段时为null。
batch完成的时间。
批量任务完成执行的时间戳,未完成时为null。
批推处理失败的时间。
批量任务执行失败的时间戳,未失败时为null。
batch已过期的时间点。
批量任务实际过期的时间戳,未过期时为null。
取消完成时间。
批量任务取消操作完成的时间戳,未取消时为null。
batch真正开始取消的时间。
批量任务开始执行取消操作的时间戳,未执行取消时为null。
请求统计信息。
批量任务中各状态请求的统计数据,包含总数、完成数和失败数。
显示子属性
隐藏子属性
总请求数量。
已完成请求数量。
失败请求数量。
Token使用情况。
批量任务消耗的Token统计信息,包含输入、输出和总计数量及详细分类。
显示子属性
隐藏子属性
输入Token数量。
输入Token详细信息。
显示子属性
隐藏子属性
缓存Token数量。
输出Token数量。
输出Token详细信息。
显示子属性
隐藏子属性
推理Token数量。
总Token数量。
扩展元数据。
用户自定义的附加信息键值对,与请求时提供的metadata对应。
显示子属性
隐藏子属性
错误响应时的返回格式
显示子属性
隐藏子属性
请求ID。
当前请求的唯一标识,用于问题追踪和日志查询。
错误码。
标识错误类型的代码,用于识别具体错误原因。
错误信息。
错误的详细描述信息,说明错误的具体原因。
批量预测任务创建成功时的响应示例
{
"id": "infer-8mt22g6d7fgj",
"object": "batch",
"endpoint": "/v2/chat/completions",
"model": "amv-5keddir3d9z6",
"errors": null,
"input_file_id": "file-0ymqje89qb",
"completion_window": "24h",
"status": "Queuing",
"output_file_id": null,
"error_file_id": null,
"created_at": 1763710144,
"in_progress_at": null,
"expires_at": 1763796544,
"finalizing_at": null,
"completed_at": null,
"failed_at": null,
"expired_at": null,
"cancelled_at": null,
"cancelling_at": null,
"request_counts": {
"total": 0,
"completed": 0,
"failed": 0
},
"usage": {
"input_tokens": 0,
"input_tokens_details": {
"cached_tokens": 0
},
"output_tokens": 0,
"output_tokens_details": {
"reasoning_tokens": 0
},
"total_tokens": 0
},
"metadata": {
"a": 8,
"b": "value"
}
}
批量预测任务创建失败时的响应示例
{
"requestId": "4befb43e-1326-404c-85bd-6b91778b27a5",
"code": "NoRealNameAuthentication",
"message": "The current account has not completed real name authentication."
}
