创建批量预测任务
更新时间:2024-11-08
功能介绍
本接口用于创建批量预测任务。
权限说明
调用本文API,需符合以下权限要求,权限介绍及分配,请查看角色与权限控制列表、账号创建与权限分配。
-
需具有以下任一权限:
- 管理员权限:QianfanFullControlAccessPolicy
- 模型服务运维权限:QianfanServiceOperateAccessPolicy
- 需具有BOSFullControlAccessPolicy权限。
注意事项
- 任务数量限制:一个账户处于运行中状态(running)的批量任务不能超过5个。否则提交任务会报错
TaskRunningNumberExceedLimit
。 - 批量预测已产品化,请查看批量预测产品相关介绍。
支持范围
模型 | 参数类型 | 参数值 |
---|---|---|
ERNIE-4.0-8K | endpoint | https://aip.baidubce.com/rpc/2.0/ai_custom/v1/wenxinworkshop/chat/completions_pro |
ERNIE-3.5-8K | endpoint | https://aip.baidubce.com/rpc/2.0/ai_custom/v1/wenxinworkshop/chat/completions |
ERNIE-4.0-Turbo-8K | endpoint | https://aip.baidubce.com/rpc/2.0/ai_custom/v1/wenxinworkshop/chat/ernie-4.0-turbo-8k |
ERNIE-Speed-8K预置模型 | modelId | ERNIE-Speed-8K预置模型id固定:amv-pzqtzdspm77m |
ERNIE-Lite-8K预置模型 | modelId | ERNIE-Lite-8K预置模型id固定:amv-irrrsmxabb6r |
ERNIE-Tiny-8K预置模型 | modelId | ERNIE-Tiny-8K预置模型:amv-sb5kfqie51z1 |
ERNIE-Speed-8K定制模型 | modelId | 定制模型的modelid参数由系统生成,可以通过以下方式获取。我的模型—>查看模型详情->找到模型版本id |
ERNIE-Lite-8K定制模型 | modelId | 同上 |
ERNIE-Tiny-8K定制模型 | modelId | 同上 |
其他开源模型 | modelId | 定制模型同上。 预置服务需要您在模型广场选择调用批量预测的预置服务,即可找到此模型版本id,如下图所示: |
HTTP调用
鉴权说明
调用本文API,使用“安全认证/Access Key ”中的Access Key ID 和 Secret Access Key等进行鉴权,无法使用获取Access Token的方式鉴权,具体鉴权认证机制参考鉴权认证机制。
请求说明
- 基本信息
请求地址: https://qianfan.baidubce.com/v2/batchinference
请求方式: POST
- Header参数
名称 | 类型 | 必填 | 描述 |
---|---|---|---|
Content-Type | string | 是 | 固定值application/json |
x-bce-date | string | 否 | 当前时间,遵循ISO8601规范,格式如2016-04-06T08:23:49Z |
Authorization | string | 是 | 用于验证请求合法性的认证信息,更多内容请参考鉴权认证机制,签名工具可参考IAM签名工具 |
- Query参数
名称 | 类型 | 必填 | 描述 |
---|---|---|---|
Action | string | 是 | 方法名称,固定值CreateBatchInferenceTask |
- Body参数
名称 | 类型 | 必填 | 描述 |
---|---|---|---|
name | string | 是 | 任务名称取值范围:字符串长度为 [2, 20] |
description | string | 否 | 任务描述取值范围:字符串长度为 [0, 500] |
endpoint | string | 否 | 推理服务endpoint,说明: (1)如果使用预置服务(如ERNIE-4.0-8K),该字段为必填 (2)endpoint和modelId只能一个有值 (3)示例endpoint: https://aip.baidubce.com/rpc/2.0/ai_custom/v1/wenxinworkshop/chat/completions_pro |
modelId | string | 否 | 模型版本ID,示例:amv-g73j3faikzpz,说明: (1)endpoint和modelId只能一个有值 (2)如果使用SFT模型,该字段为必填;在千帆控制台-我的模型页面,点击某模型详情,在版本列表中查看模型版本ID |
inferenceParams | object | 是 | 推理服务参数,JSON Schema 格式,示例:"inferenceParams":{ "temperature":0.9, "top_p":0.3 } |
inputBosUri | string | 是 | 数据输入bos目录,BOS服务说明请参考BOS介绍,说明: (1)建议bos目录下不要嵌套目录 (2)任务限制调整为普通用户5个(不区分预置服务与sft模型) (3)数据尽可能均分到目录下的每个文件,单个任务文件数量100(含子目录) (4)全部文件累计大小不超过300MB (5)文件格式要求,示例请参考本文文件源数据格式说明: · 文件内容必须符合JsonLine格式要求,⽂件内 id唯⼀,query为请求数据 ,一行一条记录。 · 文件格式不强制要求是.jsonl,可以是.txt,但推荐.jsonl后缀名 (6)示例输入文件:bos:/bucket-name/文件夹名称/ |
outputBosUri | string | 是 | 结果输出bos目录,BOS服务说明请参考BOS介绍,说明: (1)固定输出格式为jsonl (2)示例输出文件: bos:/bucket-name/output/ (3)输出文件数量与输入文件数量一一对应 |
completionWindow | string | 否 | 推理服务最长完成时间,可选值:"24h" |
dataFormat | string | 否 | 推理数据格式,可选值如下: · default,不填默认是default · src_tgt · role |
inputBosUri目录下输入文件数据格式说明
输入文件支持指定超参数,优先级高于Body参数,具体支持字段详见各大模型API文档,具体支持字段说明如下:
名称 | 说明 |
---|---|
message | 聊天上下文信息。说明: (1)messages成员不能为空,1个成员表示单轮对话,多个成员表示多轮对话,例如: · 1个成员示例, "messages": [ {"role": "user","content": "你好"}] · 3个成员示例, "messages": [ {"role": "user","content": "你好"},{"role":"assistant","content":"需要什么帮助"},{"role":"user","content":"自我介绍下"}] (2)最后一个message为当前请求的信息,前面的message为历史对话信息 (3)成员数目必须为奇数,成员中message的role值说明如下:奇数位message的role值必须为user,偶数位message的role值为assistant。例如: 示例中message中的role值分别为user、assistant、user、assistant、user;奇数位(红框)message中的role值为user,即第1、3、5个message中的role值为user;偶数位(蓝框)值为assistant,即第2、4个message中的role值为assistant (4)message中的content总长度和system字段总内容不能超过配置的字符和tokens |
system | 模型人设,主要用于人设设定,例如,你是xxx公司制作的AI助手,说明:长度限制请参考messages参数说明 |
例如,以默认Default文件格式举例,文件名为test-batch-infer-data.jsonl,内容如下:
- test-batch-infer-data.jsonl
{"id": "1", "request_body": {"system": "你是一个旅游规划小助手,可以帮助游客们做攻略", "messages": [{"role": "user", "content": "介绍一下北京"}, {"role": "assistant", "content": "北京,简称“京”,古称燕京、北平,中华民族的发祥地之一,是中华人民共和国首都、直辖市、国家中心城市、超大城市,也是国务院批复确定的中国政治中心、文化中心、国际交往中心、科技创新中心,中国历史文化名城和古都之一,世界一线城市。"}, {"role": "user", "content": "我在上海,周末可以去哪里玩?"}, {"role": "assistant", "content": "上海是一个充满活力和文化氛围的城市,有很多适合周末游玩的地方。以下是几个值得推荐的地方:\n\n上海迪士尼乐园:上海迪士尼乐园是世界上最大的迪士尼主题公园之一,有许多精彩的游乐项目和演出,可以让您尽情享受娱乐和欢乐。\n上海野生动物园:上海野生动物园是一个以自然保护为主题的野生动物园,有许多珍稀动物和植物,可以让您近距离接触大自然。\n\n这些地方都是上海周末游玩的好去处,可以根据自己的兴趣和需求选择合适的行程。"}, {"role": "user", "content": "上海有哪些美食"}], "top_p": 0.5, "temperature": 0.9, "penalty_score": 1.1}}
{"id": "2", "request_body": {"system": "你是一个旅游规划小助手,可以帮助游客们做攻略", "messages": [{"role": "user", "content": "推荐上海最适合旅游的5个景点"}, {"role": "assistant", "content": "外滩:黄浦江畔的标志性景点,欣赏历史建筑群与现代摩天大楼的交融景色。南京路步行街:繁华的商业街,购物、美食、观光一应俱全。豫园:古典江南园林,领略精美园林风光和古老建筑。东方明珠:上海的标志性建筑,可俯瞰整个城市的美景。上海博物馆:了解上海历史文化的绝佳去处,藏品丰富。"}, {"role": "user", "content": "帮我计划上海一日游"}], "top_p": 0.5, "temperature": 0.9, "penalty_score": 1.1}}
上述的 request_body 部分,就是在线接口的请求body内容。在发布批量推理任务之前,可以提前取几条request_body部分的内容在线测试一下
- Src_Tgt.jsonl
{"system": "你是AI创作助手,中文名是王维。你能够理解语言,协助创作,寻找灵感", "src": ["以波澜壮阔为主题,写一首藏头七绝"]}
{"src": ["1+1等于几?", "不对,1+1应该等于2", "1+1等于几?"], "tgt": ["您好,1+1=3", "很抱歉,我确实出错了,1+1应该等于2"]}
- Role.jsonl
{"messages": [{"role": "system", "content": "假设你是一个旅游美食博主"}, {"role": "user", "content": "介绍一下北京"}, {"role": "assistant", "content": "北京,简称“京”,古称燕京、北平,中华民族的发祥地之一,是中华人民共和国首都、直辖市、国家中心城市、超大城市,也是国务院批复确定的中国政治中心、文化中心、国际交往中心、科技创新中心,中国历史文化名城和古都之一,世界一线城市。\n\n北京被世界城市研究机构评为世界一线城市,联合国报告指出北京市人类发展指数居中国城市第二位。北京市成功举办夏奥会与冬奥会,成为全世界第一个“双奥之城”。北京有着3000余年的建城史和850余年的建都史,是全球拥有世界遗产(7处)最多的城市。\n\n北京是一个充满活力和创新精神的城市,也是中国传统文化与现代文明的交汇点。在这里,你可以看到古老的四合院、传统的胡同、雄伟的长城和现代化的高楼大厦交相辉映。此外,北京还拥有丰富的美食文化,如烤鸭、炸酱面等,以及各种传统艺术表演,如京剧、相声等。\n\n总的来说,北京是一个充满魅力和活力的城市,无论你是历史爱好者、美食家还是现代都市人,都能在这里找到属于自己的乐趣和归属感。"}, {"role":"user","content": "我在上海,周末可以去哪里玩?"}, {"role":"assistant","content": "上海是一个充满活力和文化氛围的城市,有很多适合周末游玩的地方。以下是几个值得推荐的地方:\n\n1. 上海科技馆:上海科技馆是中国大陆最大的科技馆之一,有许多互动展览和科学实验室,可以让您了解科技的发展历史和最新成果。\n2. 上海博物馆:上海博物馆是一座集艺术、历史和文化于一体的博物馆,有许多精美的艺术品和文物,可以让您深入了解中国和世界的文化历史。\n3. 外滩:外滩是上海的标志性景点之一,有许多高楼大厦和繁华的商业街区,是欣赏黄浦江美景和城市风貌的好去处。\n4. 上海迪士尼乐园:上海迪士尼乐园是世界上最大的迪士尼主题公园之一,有许多精彩的游乐项目和演出,可以让您尽情享受娱乐和欢乐。\n5. 上海野生动物园:上海野生动物园是一个以自然保护为主题的野生动物园,有许多珍稀动物和植物,可以让您近距离接触大自然。\n\n这些地方都是上海周末游玩的好去处,可以根据自己的兴趣和需求选择合适的行程。"}, {"role":"user","content": "上海有哪些美食"}]}
{"messages": [{"role": "system", "content": "假设你是一个旅游美食博主"}, {"role": "user", "content": "介绍一下北京"}, {"role": "assistant", "content": "北京,简称“京”,古称燕京、北平,中华民族的发祥地之一,是中华人民共和国首都、直辖市、国家中心城市、超大城市,也是国务院批复确定的中国政治中心、文化中心、国际交往中心、科技创新中心,中国历史文化名城和古都之一,世界一线城市。\n\n北京被世界城市研究机构评为世界一线城市,联合国报告指出北京市人类发展指数居中国城市第二位。北京市成功举办夏奥会与冬奥会,成为全世界第一个“双奥之城”。北京有着3000余年的建城史和850余年的建都史,是全球拥有世界遗产(7处)最多的城市。\n\n北京是一个充满活力和创新精神的城市,也是中国传统文化与现代文明的交汇点。在这里,你可以看到古老的四合院、传统的胡同、雄伟的长城和现代化的高楼大厦交相辉映。此外,北京还拥有丰富的美食文化,如烤鸭、炸酱面等,以及各种传统艺术表演,如京剧、相声等。\n\n总的来说,北京是一个充满魅力和活力的城市,无论你是历史爱好者、美食家还是现代都市人,都能在这里找到属于自己的乐趣和归属感。"}, {"role":"user","content": "我在上海,周末可以去哪里玩?"}, {"role":"assistant","content": "上海是一个充满活力和文化氛围的城市,有很多适合周末游玩的地方。以下是几个值得推荐的地方:\n\n1. 上海科技馆:上海科技馆是中国大陆最大的科技馆之一,有许多互动展览和科学实验室,可以让您了解科技的发展历史和最新成果。\n2. 上海博物馆:上海博物馆是一座集艺术、历史和文化于一体的博物馆,有许多精美的艺术品和文物,可以让您深入了解中国和世界的文化历史。\n3. 外滩:外滩是上海的标志性景点之一,有许多高楼大厦和繁华的商业街区,是欣赏黄浦江美景和城市风貌的好去处。\n4. 上海迪士尼乐园:上海迪士尼乐园是世界上最大的迪士尼主题公园之一,有许多精彩的游乐项目和演出,可以让您尽情享受娱乐和欢乐。\n5. 上海野生动物园:上海野生动物园是一个以自然保护为主题的野生动物园,有许多珍稀动物和植物,可以让您近距离接触大自然。\n\n这些地方都是上海周末游玩的好去处,可以根据自己的兴趣和需求选择合适的行程。"}, {"role":"user","content": "上海有哪些美食"}]}
outputBosUri目录下输出文件数据格式说明
在批量预测任务成功以后,会在outputBosUri目录下,按照outputDir分目录生成与输入文件对应同名的输出文件,内容格式如下:
{"id": "2", "request_body": {"system": "你是一个旅游规划小助手,可以帮助游客们做攻略", "messages": [{"role": "user", "content": "推荐上海最适合旅游的5个景点"}, {"role": "assistant", "content": "外滩:黄浦江畔的标志性景点,欣赏历史建筑群与现代摩天大楼的交融景色。南京路步行街:繁华的商业街,购物、美食、观光一应俱全。豫园:古典江南园林,领略精美园林风光和古老建筑。东方明珠:上海的标志性建筑,可俯瞰整个城市的美景。上海博物馆:了解上海历史文化的绝佳去处,藏品丰富。"}, {"role": "user", "content": "帮我计划上海一日游"}], "top_p": 0.5, "temperature": 0.9, "penalty_score": 1.1}, "output": {"id": "as-ze81a90xeg", "object": "chat.completion", "created": 1724676179, "result": "当然可以,以下是我为您规划的上海一日游攻略:\n\n**上海一日游攻略**\n\n**早晨:外滩与陆家嘴**\n\n* 8:00-9:00:从外滩开始您的一日游。外滩位于黄浦江畔,您可以欣赏到风格各异的万国建筑群和对岸的摩天大楼,如东方明珠、上海中心大厦等。\n* 9:00-10:00:乘坐轮渡前往陆家嘴,感受摩天大楼的雄伟。如果时间允许,您可以选择登上东方明珠或上海中心大厦的观光层,享受俯瞰整个上海的壮观景色。\n\n**中午:南京路步行街**\n\n* 12:00-13:30:前往南京路步行街享用午餐。这里有各种品牌店、商场和餐厅,您可以购物并品尝美食。推荐尝试生煎包、小笼包等上海特色小吃。\n\n**下午:豫园与城隍庙**\n\n* 14:00-15:30:步行至豫园,这是一座具有明代风格的古典园林。在这里,您可以欣赏到精美的亭台楼阁,感受江南园林的独特韵味。\n* 15:30-17:00:紧邻豫园的城隍庙是一个集购物、餐饮和娱乐于一体的商业街区。您可以在这里购买传统的小吃和手工艺品作为纪念品。\n\n**傍晚:田子坊艺术街区**\n\n* 17:30-19:00:前往充满艺术气息的老弄堂——田子坊。这里保留了上海的石库门建筑,并融入了现代的艺术元素。您可以参观艺术工作室、画廊,并在特色咖啡馆放松身心。\n\n**晚上:新天地或徐家汇商圈**\n\n* 19:30-21:00:晚餐后,您可以前往新天地或徐家汇商圈。新天地是一个时尚的商业街区,融合了古老的石库门建筑和现代商业元素,适合品味国际美食和夜生活。徐家汇商圈则是购物和娱乐的天堂,拥有众多大型购物中心和餐馆。\n\n**实用建议**\n\n1. 交通方式:建议乘坐地铁游览上海,因为地铁网络发达且方便快捷。\n2. 品尝美食:不要错过品尝当地特色小吃的机会,但请注意食品安全和卫生情况。\n3. 行程调整:根据天气和交通状况灵活调整行程安排以确保顺利游玩。\n\n希望这份攻略能帮助您充分体验上海这座城市的魅力!", "is_truncated": false, "need_clear_history": false, "finish_reason": "normal", "usage": {"prompt_tokens": 100, "completion_tokens": 520, "total_tokens": 620}}, "cluster": "online"}
{"id": "1", "request_body": {"system": "你是一个旅游规划小助手,可以帮助游客们做攻略", "messages": [{"role": "user", "content": "介绍一下北京"}, {"role": "assistant", "content": "北京,简称“京”,古称燕京、北平,中华民族的发祥地之一,是中华人民共和国首都、直辖市、国家中心城市、超大城市,也是国务院批复确定的中国政治中心、文化中心、国际交往中心、科技创新中心,中国历史文化名城和古都之一,世界一线城市。"}, {"role": "user", "content": "我在上海,周末可以去哪里玩?"}, {"role": "assistant", "content": "上海是一个充满活力和文化氛围的城市,有很多适合周末游玩的地方。以下是几个值得推荐的地方:\n\n上海迪士尼乐园:上海迪士尼乐园是世界上最大的迪士尼主题公园之一,有许多精彩的游乐项目和演出,可以让您尽情享受娱乐和欢乐。\n上海野生动物园:上海野生动物园是一个以自然保护为主题的野生动物园,有许多珍稀动物和植物,可以让您近距离接触大自然。\n\n这些地方都是上海周末游玩的好去处,可以根据自己的兴趣和需求选择合适的行程。"}, {"role": "user", "content": "上海有哪些美食"}], "top_p": 0.5, "temperature": 0.9, "penalty_score": 1.1}, "output": {"id": "as-ibkz4cfkaa", "object": "chat.completion", "created": 1724676181, "result": "上海的美食种类繁多,各具特色。以下是一些著名的上海美食:\n\n1. **生煎包**:这是上海非常有名的小吃,起源于元代,清朝时在上海开始流行。生煎包是用淀粉水制成的,特点是色泽金黄,撒上芝麻、葱花提香,一口下去香气充盈口内。\n\n2. **小笼包**:上海人特别爱吃小笼馒头(上海人称呼的小笼包),热气腾腾的,蒸的是上海的风味。小笼包皮薄而有弹性,汤汁丰富,味道鲜美。\n\n3. **蟹壳黄**:又称为小麻糕,是上海的特色小吃之一。其馅包含荠菜、白糖、葱油、豆沙等。刚出炉时色泽金黄,香脆酥松,油多而不腻。\n\n4. **白斩鸡**:使用三黄鸡制成,在烹制过程中不加任何调味料,只使用白水煮制,鸡肉白嫩紧致,鸡皮爽脆,非常美味。\n\n5. **排骨年糕**:这是一道色香味俱佳的上海小吃,软糯的年糕搭配酥烂的排骨,再淋上浓郁的酱汁,每一口都充满了满足感。\n\n6. **红烧肉**:选用五花肉为主料,经过焯水、炖煮等工序制作而成,肉质鲜嫩,色泽红亮,是上海本帮菜的代表之一。\n\n7. **阳春面**:以其汤清味鲜、面条爽滑而著名,搭配上精选的猪骨或鸡肉熬煮的高汤,让人感受到上海人的生活热情和追求品质的精神。\n\n8. **酱鸭**:上海酱鸭突出了一个浓油赤酱的特点,看上去色泽红亮,闻上去香味扑鼻,吃上去鸭肉鲜嫩可口,入口爽滑,回味无穷。\n\n9. **鲜肉月饼**:这是源于苏式月饼的传统点心,在上海非常受欢迎。馅料采用新鲜猪肉,烘烤至金黄色,酥脆的外皮与鲜嫩的肉馅交织在一起,令人陶醉。\n\n此外,还有锅贴、馄饨、罗宋汤、粢饭团、下沙烧卖、菜泡饭等众多美食,都是上海日常饮食中的一部分,反映了这座城市独特的美食文化。无论是游客还是当地居民,都可以在这些美食中体验到上海的魅力和风情。", "is_truncated": false, "need_clear_history": false, "finish_reason": "normal", "usage": {"prompt_tokens": 195, "completion_tokens": 523, "total_tokens": 718}}, "cluster": "eks"}
响应说明
名称 | 类型 | 描述 |
---|---|---|
requestId | string | 请求ID |
result | object | 请求结果 |
result说明
名称 | 类型 | 描述 |
---|---|---|
taskId | string | 任务ID |
请求示例
curl --location 'https://qianfan.baidubce.com/v2/batchinference?Action=CreateBatchInferenceTask' \
--header 'Authorization: bce-auth-v1/f0ee7axxxx79702c13/2023-09-19T13:42:13Z/180000/host;x-bce-date/9a8cfb16xxxe374525543' \
--header 'x-bce-date: 2023-09-19T13:37:10Z' \
--header 'Content-Type: application/json' \
--data '{
"name":"eb4-job4",
"description":"desc",
"endpoint":"https://aip.baidubce.com/rpc/2.0/ai_custom/v1/wenxinworkshop/chat/completions_pro",
"inferenceParams":{
"temperature":0.9,
"top_p":0.3
},
"inputBosUri":"bos:/sdc-default/zhxxxan/input",
"outputBosUri":"bos:/sdc-default/zhaxxxan/output",
"dataFormat":"default"
}'
响应示例
{
"requestId":"1bef3f87-c5b2-4419-936b-50f9884f10d4",
"result":{
"taskId":"infer-9ia3xxxt9mp"
}
}
SDK调用
平台支持通过Python SDK、Go SDK、Java SDK 和 Node.js SDK调用本文API,SDK调用说明文档请参考创建批量预测任务。
错误码
若请求错误,服务器将返回的JSON文本包含以下参数:
名称 | 描述 |
---|---|
requestId | 请求ID |
code | 错误码,帮助理解和解决发生的错误 |
message | 错误描述信息,帮助理解和解决发生的错误 |
例如返回:
{
"requestId":"1bef3f87-xxx0f9884f10d4",
"code":"AccessDenied",
"message":"Access denied."
}
更多其他错误码,也可以查看错误码说明。