批量推理
更新时间:2026-02-02
功能介绍
批量推理可以⼀次性处理⼤量数据,并对这些数据进⾏统⼀推理预测,最后将结果输出到指定位置。适合⼤批量数据处理、分析的场景等,批量推理的计费仅为实时推理的40%,帮助您有效节省资源消耗成本。直接调⽤代码示例参考API文档,相关计费内容可查看模型服务计费。
前置依赖
用户需要先开通 BOS对象存储如您未开通BOS功能,可提前开通。
使用指南
数据准备
上传文件到BOS对象存储。

- 文件内容必须符合JsonLine格式要求,⽂件内 id唯⼀,query为请求数据,一行一条记录。
- 文件格式不强制要求是.jsonl,可以是.txt,但推荐.jsonl后缀名
- 单个任务的所有文件总大小不得超过300MB(若文件总大小超出限制,建议改用批量推理SDK提交任务,SDK会自动将文件切分并分批提交)
- 输入文件支持指定超参数,优先级高于Body参数,具体支持字段详见各大模型API文档 以默认Default文件格式举例:
Plain Text
1{"id": "1", "request_body": {"messages": [{"role": "system", "content": "你是一个旅游规划小助手,可以帮助游客们做攻略"}, {"role": "user", "content": "介绍一下北京"}, {"role": "assistant", "content": "北京,简称“京”,古称燕京、北平,中华民族的发祥地之一,是中华人民共和国首都、直辖市、国家中心城市、超大城市,也是国务院批复确定的中国政治中心、文化中心、国际交往中心、科技创新中心,中国历史文化名城和古都之一,世界一线城市。"}, {"role": "user", "content": "我在上海,周末可以去哪里玩?"}, {"role": "assistant", "content": "上海是一个充满活力和文化氛围的城市,有很多适合周末游玩的地方。以下是几个值得推荐的地方:\n\n上海迪士尼乐园:上海迪士尼乐园是世界上最大的迪士尼主题公园之一,有许多精彩的游乐项目和演出,可以让您尽情享受娱乐和欢乐。\n上海野生动物园:上海野生动物园是一个以自然保护为主题的野生动物园,有许多珍稀动物和植物,可以让您近距离接触大自然。\n\n这些地方都是上海周末游玩的好去处,可以根据自己的兴趣和需求选择合适的行程。"}, {"role": "user", "content": "上海有哪些美食"}], "top_p": 0.5, "temperature": 0.9, "penalty_score": 1.1}}
2{"id": "2", "request_body": {"messages": [{"role": "system", "content": "你是一个旅游规划小助手,可以帮助游客们做攻略"}, {"role": "user", "content": "推荐上海最适合旅游的5个景点"}, {"role": "assistant", "content": "外滩:黄浦江畔的标志性景点,欣赏历史建筑群与现代摩天大楼的交融景色。南京路步行街:繁华的商业街,购物、美食、观光一应俱全。豫园:古典江南园林,领略精美园林风光和古老建筑。东方明珠:上海的标志性建筑,可俯瞰整个城市的美景。上海博物馆:了解上海历史文化的绝佳去处,藏品丰富。"}, {"role": "user", "content": "帮我计划上海一日游"}], "top_p": 0.5, "temperature": 0.9, "penalty_score": 1.1}}
同时也支持Src_Tgt及Role格式数据,示例如下:
Plain Text
1{"system": "你是AI创作助手,中文名是王维。你能够理解语言,协助创作,寻找灵感", "src": ["以波澜壮阔为主题,写一首藏头七绝"]}
2{"src": ["1+1等于几?", "不对,1+1应该等于2", "1+1等于几?"], "tgt": ["您好,1+1=3", "很抱歉,我确实出错了,1+1应该等于2"]}
Role.jsonl示例如下:
Plain Text
1{"messages": [{"role": "system", "content": "假设你是一个旅游美食博主"}, {"role": "user", "content": "介绍一下北京"}, {"role": "assistant", "content": "北京,简称“京”,古称燕京、北平,中华民族的发祥地之一,是中华人民共和国首都、直辖市、国家中心城市、超大城市,也是国务院批复确定的中国政治中心、文化中心、国际交往中心、科技创新中心,中国历史文化名城和古都之一,世界一线城市。\n\n北京被世界城市研究机构评为世界一线城市,联合国报告指出北京市人类发展指数居中国城市第二位。北京市成功举办夏奥会与冬奥会,成为全世界第一个“双奥之城”。北京有着3000余年的建城史和850余年的建都史,是全球拥有世界遗产(7处)最多的城市。\n\n北京是一个充满活力和创新精神的城市,也是中国传统文化与现代文明的交汇点。在这里,你可以看到古老的四合院、传统的胡同、雄伟的长城和现代化的高楼大厦交相辉映。此外,北京还拥有丰富的美食文化,如烤鸭、炸酱面等,以及各种传统艺术表演,如京剧、相声等。\n\n总的来说,北京是一个充满魅力和活力的城市,无论你是历史爱好者、美食家还是现代都市人,都能在这里找到属于自己的乐趣和归属感。"}, {"role":"user","content": "我在上海,周末可以去哪里玩?"}, {"role":"assistant","content": "上海是一个充满活力和文化氛围的城市,有很多适合周末游玩的地方。以下是几个值得推荐的地方:\n\n1. 上海科技馆:上海科技馆是中国大陆最大的科技馆之一,有许多互动展览和科学实验室,可以让您了解科技的发展历史和最新成果。\n2. 上海博物馆:上海博物馆是一座集艺术、历史和文化于一体的博物馆,有许多精美的艺术品和文物,可以让您深入了解中国和世界的文化历史。\n3. 外滩:外滩是上海的标志性景点之一,有许多高楼大厦和繁华的商业街区,是欣赏黄浦江美景和城市风貌的好去处。\n4. 上海迪士尼乐园:上海迪士尼乐园是世界上最大的迪士尼主题公园之一,有许多精彩的游乐项目和演出,可以让您尽情享受娱乐和欢乐。\n5. 上海野生动物园:上海野生动物园是一个以自然保护为主题的野生动物园,有许多珍稀动物和植物,可以让您近距离接触大自然。\n\n这些地方都是上海周末游玩的好去处,可以根据自己的兴趣和需求选择合适的行程。"}, {"role":"user","content": "上海有哪些美食"}]}
2{"messages": [{"role": "system", "content": "假设你是一个旅游美食博主"}, {"role": "user", "content": "介绍一下北京"}, {"role": "assistant", "content": "北京,简称“京”,古称燕京、北平,中华民族的发祥地之一,是中华人民共和国首都、直辖市、国家中心城市、超大城市,也是国务院批复确定的中国政治中心、文化中心、国际交往中心、科技创新中心,中国历史文化名城和古都之一,世界一线城市。\n\n北京被世界城市研究机构评为世界一线城市,联合国报告指出北京市人类发展指数居中国城市第二位。北京市成功举办夏奥会与冬奥会,成为全世界第一个“双奥之城”。北京有着3000余年的建城史和850余年的建都史,是全球拥有世界遗产(7处)最多的城市。\n\n北京是一个充满活力和创新精神的城市,也是中国传统文化与现代文明的交汇点。在这里,你可以看到古老的四合院、传统的胡同、雄伟的长城和现代化的高楼大厦交相辉映。此外,北京还拥有丰富的美食文化,如烤鸭、炸酱面等,以及各种传统艺术表演,如京剧、相声等。\n\n总的来说,北京是一个充满魅力和活力的城市,无论你是历史爱好者、美食家还是现代都市人,都能在这里找到属于自己的乐趣和归属感。"}, {"role":"user","content": "我在上海,周末可以去哪里玩?"}, {"role":"assistant","content": "上海是一个充满活力和文化氛围的城市,有很多适合周末游玩的地方。以下是几个值得推荐的地方:\n\n1. 上海科技馆:上海科技馆是中国大陆最大的科技馆之一,有许多互动展览和科学实验室,可以让您了解科技的发展历史和最新成果。\n2. 上海博物馆:上海博物馆是一座集艺术、历史和文化于一体的博物馆,有许多精美的艺术品和文物,可以让您深入了解中国和世界的文化历史。\n3. 外滩:外滩是上海的标志性景点之一,有许多高楼大厦和繁华的商业街区,是欣赏黄浦江美景和城市风貌的好去处。\n4. 上海迪士尼乐园:上海迪士尼乐园是世界上最大的迪士尼主题公园之一,有许多精彩的游乐项目和演出,可以让您尽情享受娱乐和欢乐。\n5. 上海野生动物园:上海野生动物园是一个以自然保护为主题的野生动物园,有许多珍稀动物和植物,可以让您近距离接触大自然。\n\n这些地方都是上海周末游玩的好去处,可以根据自己的兴趣和需求选择合适的行程。"}, {"role":"user","content": "上海有哪些美食"}]}
创建批量推理任务
登录到本平台,在左侧功能列模型推理选择批量离线推理,进入服务管理主任务界面。
- 在任务主界面选择“创建推理任务”按钮。

- 在创建任务主界面,填写以下基本信息。

- 在数据配置处需要您在选择数据导入BOS,如您未开通BOS功能,可提前开通。
填写内容完成,选择“确定”按钮,建立批量推理任务即可完成。

查询批量推理任务
批量推理列表页可查看任务运行信息

详情
点击任务名称,即可查看本任务详细信息。

查看批量推理结果
点击查看结果跳转至BOS查看查看到结果集的详细信息。

删除
运行成功/失败/已中止的批量推理任务都可以进行删除,一旦删除,不可恢复。运行中的任务不支持删除,您可以取消运行后再删除,中止后的任务不支持重启,请您结合自身需求操作。
