批量预测
更新时间：2024-10-31
概述
对实时性要求不高的业务场景，通常会使用模型对数据集进行周期性的批量预测。批量预测请求当前为异步请求，支持直接从模型资源请求批量预测，而无需将模型部署到端点。
如您在API侧进行可创建批量预测任务和获取批量预测任务详情。
计费明细
| 服务名称 | 服务内容 | 现价 |
|---|---|---|
| ERNIE-4.0-Turbo系列批量预测 | ERNIE-4.0-Turbo批量推理服务，按照成功调用的输入+输出tokens进行计费 | 输入：¥0.012元/千tokens 输出：¥0.024元/千tokens |
| ERNIE 4.0系列批量预测 | Ernie-4.0-8K批量推理服务，按照成功调用的输入+输出tokens进行计费 | 输入：¥0.016元/千tokens 输出：¥0.048元/千tokens |
| ERNIE 3.5系列批量预测 | Ernie-3.5-8K批量推理服务，按照成功调用的输入+输出tokens进行计费 | 输入：¥0.0016元/千tokens 输出：¥0.0048元/千tokens |
| ERNIE-Speed系列批量预测 | ERNIE-Speed-8K批量推理服务，按照成功调用的输入+输出tokens进行计费 | 输入：¥0.0016元/千tokens 输出：¥0.0032元/千tokens |
| ERNIE-Lite系列批量预测 | ERNIE-Lite-8K批量推理服务，按照成功调用的输入+输出tokens进行计费 | 输入：¥0.0012元/千tokens 输出：¥0.0024元/千tokens |
| ERNIE-Tiny批量预测 | ERNIE-Tiny-8K批量推理服务，按照成功调用的输入+输出tokens进行计费 | 输入：¥0.0004元/千tokens 输出：¥0.0004元/千tokens |
| 小规模参数开源模型批量预测 | 参数规模 ≤ 20B的开源模型批量推理服务，按照成功调用的输入+输出tokens进行计费 | ¥0.0008元/千tokens |
| 中等规模参数开源模型批量预测 | 20B < 参数规模 < 70B的开源模型批量推理服务，按照成功调用的输入+输出tokens进行计费 | ¥0.0018元/千tokens |
| 大规模参数开源模型批量预测 | 参数规模 ≥ 70B的开源模型批量推理服务，按照成功调用的输入+输出tokens进行计费 | ¥0.0025元/千tokens |
点击以下内容，即可获取相应规模参数下支持批量预测的模型列表，开源模型批量预测支持预置模型和精调训练后的模型（含含SFT-全量更新、SFT-LoRA）
小规模参数开源模型列表
| AquilaChat-7B、AquilaCode-Multi | Baichuan2-13B-Chat、Baichuan2-7B-Chat |
| BLOOMZ-7B、Cerebras-GPT-13B | ChatGLM2-6B、ChatGLM2-6B-32K |
| ChatGLM2-6B-INT4、ChatGLM3-6B | ChatGLM3-6B-32K、CodeLlama-7B |
| DISC-MedLLM、Dolly-V2-12B | Falcon-7B、Fuyu-8B |
| Gemma-2B、Gemma-7B | GPT4ALL-J、GPT-J-6B |
| GPT-NeoX-20B、Linly-Chinese-Llama-2-13B | Linly-Chinese-Llama-2-7B、Llama-2-13B-Chat |
| Llama-2-7B-Chat、Meta-Llama-3-8B | Mistral-7B、MPT-7B-Instruct |
| Oasst-SFT-4-Pythia-12B、OpenLlama-7B | Pythia-12B、Qianfan-Chinese-Llama-2-1.3B |
| Qianfan-Chinese-Llama-2-13B-v1、Qianfan-Chinese-Llama-2-13B-v2 | Qianfan-Chinese-Llama-2-7B、Qianfan-Chinese-Llama-2-7B-32K |
| RWKV-14B-Pile、RWKV-14B-Raven | RWKV-7B、SQLCoder-7B |
| StableLM-Alpha-7B、StarCoder | XVERSE-13B-Chat |
中等规模参数开源模型列表
| Falcon-40B、MPT-30B-Instruct | Yi-34B、Yi-34B-Chat | Mixtral-8x7B、Mixtral-8x7B |
大规模参数开源模型列表
| Llama-2-70B-Chat、XuanYuan-70B-Chat | Qianfan-Llama-2-70B-Compressed、Qwen-72B-Chat-INT4 | Qianfan-Chinese-Llama-2-70B、Meta-Llama-3-70B |
周边插件计费
批量推理搜索按次计费，单价为0.0032元/次
价格费用举例
推理总价=大模型批量预测输入(单价) x 评估数据集tokens + 大模型批量预测输出(单价) x 推理结果集tokens
示例1:使用ERNIE 4.0批量预测，新建推理结果集
设定：评估数据集tokens=10,000，评估结果集tokens=100,000
批量推理总价=0.016(单价) x 10千tokens + 0.048(单价) x 100千tokens=4.96 元
示例2:使用Ernie-3.5批量预测，新建推理结果集
设定：评估数据集tokens=10,000，评估结果集tokens=100,000
批量推理总价=0.0016(单价) x 10千tokens + 0.0048(单价) x 100千tokens=0.496 元
示例3:使用ERNIE 4.0批量预测，新建推理结果集，且触发搜索
设定：评估数据集tokens=10,000，评估结果集tokens=100,000，触发搜索次数为2次
批量推理总价=0.0032（搜索单价）x 2（次）+ 0.016(单价) x 10千tokens + 0.048(单价) x 100千tokens=4.9664 元