模型精调
更新时间:2024-04-19
模型精调是模型训练过程中,所选用的基础模型训练费用,包括Post-pretrain、SFT的全量更新和局部调优、DPO、RLHF等内容。
模型训练价格限时5折优惠。
Post-pretrain
基础模型 | 说明 | 原价 | 现价(折后价) |
ERNIE Lite | 单条数据支持8192 tokens。支持大规模训练任务的断点续跑和数据恢复能力。 | 0.004元/千tokens | 0.002元/千tokens |
Qianfan-Chinese-Llama2-13B-v1 | 千帆团队在Llama-2-13b基础上的中文增强版本,单条数据支持4096 tokens。 | 0.004元/千tokens | 0.002元/千tokens |
ERNIE Speed | 单条数据支持8192 tokens。百度自研的高性能版文心大模型。 | 0.008元/千tokens | 0.004元/千tokens |
训练字符转换token系数为(0.5~0.8),详情计费可查看示例
SFT-全量更新
基础模型 | 说明 | 原价 | 现价(折后价) |
ERNIE-Speed-8K | 百度自主研发的文心产业级知识增强大语言模型(高性能版),在理解、生成、逻辑和记忆能力上有显著提升。 | 0.06元/千tokens | 0.03元/千tokens |
ERNIE Lite | 百度自主研发的大语言模型,覆盖海量中文数据,具有更强的对话问答、内容创作生成等能力。 | 0.03元/千tokens | 0.015元/千tokens |
ERNIE Character | 百度基于ERNIE Speed微调的高性能大语言模型,在角色扮演场景下具备千亿量级模型推理效果。 | 0.06元/千tokens | 0.03元/千tokens |
Meta-Llama-3-8B | 单条数据支持4096 tokens。Meta-Llama-3-8B在通用能力、知识推理、阅读理解的行业基准测评上表现优异。 | 0.006元/千tokens | 0.003元/千tokens |
Qianfan-Chinese-Llama-2-7B | 千帆团队在Llama-2-7b基础上的中文增强版本,单条数据支持4096 tokens。 | 0.006元/千tokens | 0.003元/千tokens |
Qianfan-Chinese-Llama-2-13B-v1 | 千帆团队在Llama-2-13b基础上的中文增强版本,单条数据支持4096 tokens。 | 0.02元/千tokens | 0.01元/千tokens |
Qianfan-Chinese-Llama-2-13B-v2 | 千帆团队基于Llama2架构开发的130亿参数预训练大语言模型。 | 0.02元/千tokens | 0.01元/千tokens |
SQL Coder | 基于Mistral-7B微调的语言模型,用于将自然语言问题转换为SQL语句,具备优秀的生成效果,单条数据支持4096 tokens。 | 0.006元/千tokens | 0.003元/千tokens |
ChatGLM2-6B-32K | 在ChatGLM2-6B的基础上进一步强化了对于长文本的理解能力,能够更好的处理最多32K长度的上下文。 | 0.008元/千tokens | 0.004元/千tokens |
chatglm2-6b | 具备强大的推理性能、效果、较低的部署门槛及更长的上下文,单条数据支持4096 tokens。 | 0.006元/千tokens | 0.003元/千tokens |
Baichuan2-7B-Chat | 在大约 1.2 万亿 tokens 上训练的 70 亿参数模型,单条数据支持4096 tokens。 | 0.006元/千tokens | 0.003元/千tokens |
Baichuan2-13B-Chat | 采用2.6万亿Tokens的高质量语料训练,单条数据支持4096 tokens。 | 0.02元/千tokens | 0.01元/千tokens |
BLOOMZ-7B | 千帆团队在由BigScience研发并开源的BLOOMZ-7B的基础上的中文增强版,单条数据支持2048 tokens。 | 0.006元/千tokens | 0.003元/千tokens |
CodeLlama-7B | 旨在用于一般代码合成和理解,模型参数规模为70亿,单条数据支持4096 tokens。 | 0.006元/千tokens | 0.003元/千tokens |
Qianfan-Chinese-Llama-2-7B-32K | 千帆团队在Qianfan-Chinese-Llama-2-7B基础上的上下文增强版本,支持32K上下文。 | 0.008元/千tokens | 0.004元/千tokens |
Mixtral-8x7B-Instruct-v0.1 | 由Mistral AI发布的首个高质量稀疏专家混合模型 (MOE),模型由8个70亿参数专家模型组成,单条数据支持32768 tokens。该版本为支持对话的微调版本,在代码生成任务中表现尤为优异。 | 0.03元/千tokens | 0.015元/千tokens |
ERNIE Tiny | 百度自研的超高性能大语言模型,精调成本在文心系列模型中最低。 | 0.01元/千tokens | 0.005元/千tokens |
SFT中大模型训练字符转换token系数为(0.5~0.8)。
需注意:基于基础模型Meta-Llama-3-8B训练产生的计费账单,将合并于Llama2-7B的训练模型的账单中,并非单独记账。
SFT-局部调优
基础模型 | 说明 | 原价 | 现价(折后价) |
ERNI-Speed-8K | 百度自主研发的文心产业级知识增强大语言模型(高性能版),在理解、生成、逻辑和记忆能力上有显著提升。 | 0.04元/千tokens | 0.02元/千tokens |
ERNIE Lite | 百度自主研发的大语言模型,覆盖海量中文数据,具有更强的对话问答、内容创作生成等能力。 | 0.02元/千tokens | 0.01元/千tokens |
ERNIE Character | 百度基于ERNIE Speed微调的高性能大语言模型,在角色扮演场景下具备千亿量级模型推理效果。 | 0.04元/千tokens | 0.02元/千tokens |
Qianfan-Chinese-Llama-2-7B | 千帆团队在Llama-2-7b基础上的中文增强版本,单条数据支持4096 tokens。 | 0.004元/千tokens | 0.002元/千tokens |
Qianfan-Chinese-Llama-2-13B-v1 | 千帆团队在Llama-2-13b基础上的中文增强版本,单条数据支持4096 tokens。 | 0.015元/千tokens | 0.0075元/千tokens |
Qianfan-Chinese-Llama-2-13B-v2 | 千帆团队基于Llama2架构开发的130亿参数预训练大语言模型。 | 0.015元/千tokens | 0.0075元/千tokens |
SQL Coder | 基于Mistral-7B微调的语言模型,用于将自然语言问题转换为SQL语句,具备优秀的生成效果,单条数据支持4096 tokens。 | 0.004元/千tokens | 0.002元/千tokens |
chatglm2-6b | 具备强大的推理性能、效果、较低的部署门槛及更长的上下文,单条数据支持4096 tokens。 | 0.004元/千tokens | 0.002元/千tokens |
Baichuan2-7B-Chat | 在大约 1.2 万亿 tokens 上训练的 70 亿参数模型,单条数据支持4096 tokens。 | 0.004元/千tokens | 0.002元/千tokens |
Baichuan2-13B-Chat | 采用2.6万亿Tokens的高质量语料训练,单条数据支持4096 tokens。 | 0.015元/千tokens | 0.0075元/千tokens |
BLOOMZ-7B | 千帆团队在由BigScience研发并开源的BLOOMZ-7B的基础上的中文增强版,单条数据支持2048 tokens。 | 0.004元/千tokens | 0.002元/千tokens |
CodeLlama-7B | 旨在用于一般代码合成和理解,模型参数规模为70亿,单条数据支持4096 tokens。 | 0.004元/千tokens | 0.002元/千tokens |
Qianfan-Chinese-Llama-2-7B-32K | 千帆团队在Qianfan-Chinese-Llama-2-7B基础上的上下文增强版本,支持32K上下文。 | 0.006元/千tokens | 0.003元/千tokens |
SFT中大模型训练字符转换token系数为(0.5~0.8)。
SFT-文生图
计费项目 | 说明 | 单价 |
大模型训练采用A800的资源 | 大模型公有云训练服务-按小时计费 |
(折后)112元/小时 大模型训练模块会根据数据集大小,预估训练时长,其中最小计量粒度为0.01小时,不足0.01小时按0.01小时计算。 |
DPO
基础模型 | 说明 | 原价 | 现价(折后价) |
ERNIE Tiny | 百度自研的超高性能大语言模型,精调成本在文心系列模型中最低。ERNIE-Tiny-8K,单条数据支持8192 tokens。 | 0.01元/千tokens | 0.005元/千tokens |
ERNIE Lite | 百度自主研发的大语言模型,覆盖海量中文数据,具有更强的对话问答、内容创作生成等能力。ERINI-Lite-8K-0308,单条数据支持8192 tokens,ERNIE Lite的最新版本,对效果和性能都进行了优化。 | 0.03元/千tokens | 0.015元/千tokens |
ERNIE Speed | 百度自主研发的文心产业级知识增强大语言模型(高性能版),相较ERNIE Lite实现了基础模型的全面升级,在理解、生成、逻辑和记忆能力上有显著提升。ERNIE-Speed-8K,单条数据支持8192 tokens,模型基于海量高质量数据训练,具有更强的文本理解、内容创作、对话问答等能力。 | 0.06元/千tokens | 0.03元/千tokens |
RLHF
训练类型 | 基础服务 | 说明 | 原价 | 现价(折后价) |
RLHF | BLOOMZ-7B | 大模型公有云训练服务-强化学习 | 0.08元/千tokens | 0.04元/千tokens |
特别注意:强化学习计算公式为以下:
训练总价(最高) = (训练集tokens) x epoch(迭代轮次) x token单价
价格费用举例
训练数据:25800字符数;
文本生成模型训练公式为:
计算公式 =
(训练集tokens) x
epoch(迭代轮次) x
token单价
示例1:ERNIE Lite训练服务-SFT-全量更新
训练总价 = 训练集字符数 x 0.001(千位计算) x 字符转换token系数(0.5~0.8) x epoch(迭代轮次) x token单价
- 预估价格计算方式为: 25.8千字符数 x (0.5~0.8) x 2(epoch迭代轮次) x 0.03 = 0.774~1.2384 元(原价)
模型训练限时5折优惠,以上示例现价为0.387~0.6192元。
示例2:BLOOMZ-7B大模型公有云训练服务-强化学习
- 预估价格(最高)计算方式为: (25800 + 1000 x 2048) x 0.001(千位计算) x 2(epoch迭代轮次) x 0.08 = 331.808 元(原价)
模型训练限时5折优惠,以上示例现价最高为165.904元。
示例3:ERNIE Lite训练服务-postpretrain
- 预估价格计算方式为: 25.8千字符数 x (0.5~0.8) x 2(epoch迭代轮次) x 0.004 = 0.1032~0.16512 元(原价)
模型训练限时5折优惠,以上示例现价为0.0516~0.08256元。