创建模型精调任务
更新时间:2024-11-28
功能介绍
用于创建模型精调任务。
使用说明
本文API支持通过Python SDK、Go SDK、Java SDK 和 Node.js SDK调用,调用流程请参考SDK安装及使用流程。
SDK调用
调用示例
import os
from qianfan import resources
# 通过环境变量初始化认证信息
# 使用安全认证AK/SK调用,替换下列示例中参数,安全认证Access Key替换your_iam_ak,Secret Key替换your_iam_sk,如何获取请查看https://cloud.baidu.com/doc/Reference/s/9jwvz2egb
os.environ["QIANFAN_ACCESS_KEY"] = "your_access_key"
os.environ["QIANFAN_SECRET_KEY"] = "your_secret_key"
resp = resources.console.utils.call_action(
# 调用本文API,该参数值为固定值,无需修改;对应本文HTTP调用-请求说明-请求地址的后缀
"/v2/finetuning",
# 调用本文API,该参数值为固定值,无需修改;对应本文HTTP调用-请求说明-请求参数-Query参数的Action
"CreateFineTuningTask",
# 对应本文HTTP调用-请求说明-请求参数-Body参数,具体使用请查看Body参数说明,根据实际使用选择参数
{
"jobId": "job-1xzycis4jm3b",
"parameterScale": "FullFineTuning",
"hyperParameterConfig": map[string]any{
"epoch": 1,
"learningRate": 0.00003,
"maxSeqLen": 4096
}
"datasetConfig": map[string]any{
"sourceType": "Platform",
"versions": []map[string]any{{
"versionId": "ds-he8srs01ym0b8fh7"
}}
"splitRatio": 20
}
}
)
print(resp.body)
package main
import (
"context"
"fmt"
"os"
"github.com/baidubce/bce-qianfan-sdk/go/qianfan"
)
func main() {
// 使用安全认证AK/SK鉴权,通过环境变量初始化;替换下列示例中参数,安全认证Access Key替换your_iam_ak,Secret Key替换your_iam_sk
os.Setenv("QIANFAN_ACCESS_KEY", "your_iam_ak")
os.Setenv("QIANFAN_SECRET_KEY", "your_iam_sk")
ca := qianfan.NewConsoleAction()
res, err := ca.Call(context.TODO(),
// 调用本文API,该参数值为固定值,无需修改;对应本文HTTP调用-请求说明-请求地址的后缀
"/v2/finetuning",
// 调用本文API,该参数值为固定值,无需修改;对应本文HTTP调用-请求说明-请求参数-Query参数的Action
"CreateFineTuningTask",
// 对应本文HTTP调用-请求说明-请求参数-Body参数,具体使用请查看Body参数说明,根据实际使用选择参数
map[string]interface{}{
"jobId": "job-1xzycis4jm3b",
"parameterScale": "FullFineTuning",
"hyperParameterConfig": map[string]any{
"epoch": 1,
"learningRate": 0.00003,
"maxSeqLen": 4096,
},
"datasetConfig": map[string]any{
"sourceType": "Platform",
"versions": []map[string]any{{
"versionId": "ds-he8srs01ym0b8fh7",
}},
"splitRatio": 20,
},
})
if err != nil {
panic(err)
}
fmt.Println(string(res.Body))
}
import com.baidubce.qianfan.Qianfan;
import com.baidubce.qianfan.model.console.ConsoleResponse;
import com.baidubce.qianfan.util.CollUtils;
import com.baidubce.qianfan.util.Json;
import java.util.Map;
public class Dome {
public static void main(String args[]){
// 使用安全认证AK/SK鉴权,替换下列示例中参数,安全认证Access Key替换your_iam_ak,Secret Key替换your_iam_sk
Qianfan qianfan = new Qianfan("your_iam_ak", "your_iam_sk");
ConsoleResponse<Map<String, Object>> response = qianfan.console()
// 调用本文API,该参数值为固定值,无需修改;对应本文HTTP调用-请求说明-请求地址的后缀
.route("/v2/finetuning")
// 调用本文API,该参数值为固定值,无需修改;对应本文HTTP调用-请求说明-请求参数-Query参数的Action
.action("CreateFineTuningTask")
// 需要传入参数的场景,可以自行封装请求类,或者使用Map.of()来构建请求Body
// Java 8可以使用SDK提供的CollUtils.mapOf()来替代Map.of()
// 对应本文HTTP调用-请求说明-请求参数-Body参数,具体使用请查看Body参数说明,根据实际使用选择参数
.body(CollUtils.mapOf(
"jobId", "job-1xzycis4jm3b",
"parameterScale", "FullFineTuning",
"hyperParameterConfig", CollUtils.mapOf(
"epoch", 1,
"learningRate", 0.00003,
"maxSeqLen", 4096
),
"datasetConfig", CollUtils.mapOf(
"sourceType", "Platform",
"versions",new Map[]{CollUtils.mapOf(
"versionId", "ds-he8srs01ym0b8fh7"
)},
"splitRatio", 20
)
))
.execute();
System.out.println(Json.serialize(response));
}
}
import {consoleAction, setEnvVariable} from "@baiducloud/qianfan";
// 使用安全认证AK/SK鉴权,通过环境变量初始化;替换下列示例中参数,安全认证Access Key替换your_iam_ak,Secret Key替换your_iam_sk
setEnvVariable('QIANFAN_ACCESS_KEY','your_iam_ak');
setEnvVariable('QIANFAN_SECRET_KEY','your_iam_sk');
async function main() {
//base_api_route:调用本文API,该参数值为固定值,无需修改;对应本文HTTP调用-请求说明-请求地址的后缀
//action:调用本文API,该参数值为固定值,无需修改;对应本文HTTP调用-请求说明-请求参数-Query参数的Action
//data:对应本文HTTP调用-请求说明-请求参数-Body参数,具体使用请查看Body参数说明,根据实际使用选择参数
const res = await consoleAction({base_api_route: '/v2/finetuning', action: 'CreateFineTuningTask', data: {
"jobId": "job-1xzycis4jm3b",
"parameterScale": "FullFineTuning",
"hyperParameterConfig": {
"epoch": 1,
"learningRate": 0.00003,
"maxSeqLen": 4096
},
"datasetConfig": {
"sourceType": "Platform",
"versions": [{
"versionId": "ds-he8srs01ym0b8fh7"
}],
"splitRatio": 20
}
}
});
console.log(res);
}
main();
返回示例
QfResponse(
code=200,
headers={...},
body={
"requestId": "81067d4d-c36b-49b2-b2df-87dc9f0b019e",
"result": {"jobId": "job-6ucxxxck8q0", "taskId": "task-2js67xxxi9a"},
},
)
{
"requestId":"1bef3f87-c5b2-4419-936b-50f9884f10d4",
"result":{
"jobId":"job-n50985crhqq3",
"taskId":"task-nycp7bycjjn7"
}
}
{
"requestId":"1bef3f87-c5b2-4419-936b-50f9884f10d4",
"result":{
"jobId":"job-n50985crhqq3",
"taskId":"task-nycp7bycjjn7"
}
}
{
requestId:'1bef3f87-c5b2-4419-936b-50f9884f10d4',
result:{
jobId:'job-n50985crhqq3',
taskId:'task-nycp7bycjjn7'
}
}
请求参数
名称 | 类型 | 必填 | 描述 |
---|---|---|---|
jobId | string | 是 | 作业ID,可以通过以下方式获取该参数值,以SFT为例说明: 在控制台-模型精调页面,查看ID,如下图所示: |
incrementTaskId | string | 否 | 基础任务ID,说明: (1)如果是增量训练,该字段必传 (2)传了该字段,默认走增量训练 (3)基础任务的模型类型要和作业一致 (4)自定义模型作业不支持增量训练 |
incrementCheckpointStep | int | 否 | 基础任务Step,说明:如果基础任务是多checkpoint任务,该字段必传 |
parameterScale | string | 否 | 调优的参数规模,该字段取值详情参考模型支持情况 |
hyperParameterConfig | object | 是 | 超参数配置,说明:该字段请查看本文hyperParameterConfig说明,也可以参考模型支持情况 |
datasetConfig | object | 是 | 数据集配置 |
corpusConfig | object | 否 | 混合语料配置 |
modelConfig | object | 否 | 模型配置,说明:只支持自定义模型作业,此时该参数必传 |
resourceConfig | object | 否 | 资源池配置 |
corpusConfig说明
名称 | 类型 | 必填 | 描述 |
---|---|---|---|
generalCorpusProportion | double | 否 | 通用语料混入比例 ,说明: (1)取值范围 :大于0。默认为0,不混入此语料 (2)仅支持ERNIE系列模型使用此参数 |
verticalCorpusProportion | double | 否 | 垂直语料混入比例 ,说明: (1)取值范围:大于0。默认为0,不混入此语料 (2)仅支持ERNIE系列模型使用此参数 |
defaultCorpusProportion | double | 否 | 默认语料混入比例,说明: (1)取值范围:[0-100]。默认为0,不混入此语料 (2)仅支持开源系列模型使用此参数 |
copyData | bool | 否 | 是否数据拷贝,说明: (1)如果在配置的混合比例下,需要混合的数据量超出了平台混合数据的总量。 (2)此参数作用于通用语料和垂直语料。 (3)可选值如下: · false:不重复,选择数据训练,默认为false · true:重复选择数据 |
labels | List<string> | 否 | 混入语料任务类型,说明: (1)仅支持垂直混合语料使用此参数 (2)SFT和Post-pretrain支持的任务类型不同。 (3)SFT支持以下任务类型: · 知识问答 · 文本创作 · 表格问答 · 信息抽取 · 指令理解 · 标题生成 · 问题生成 · 示例学习 · 文本属性分析 · 摘要 · 语言推理 · 阅读理解 · 文本分类 · Json转文本 · 代码生成 · 代码纠错 · 代码解释 · 理科试题 · 多轮对话 · 角色扮演(多轮) · 风格定制(多轮) · 翻译 · 文科试题 · Agent · NL2SQL · 记忆增强 (4)Post-pretrain支持以下任务类型: · 金融 · 医疗 · 广告传媒 · 电商 · 旅游 · 教育 · 交通物流 · 地产家装 · 法律 · 党政 · 游戏 · 科技 · 化工 · 能源 · 机械 |
languages | List<string> | 否 | 混合通用/垂直语料的语言类型,说明: (1)仅支持Post-pretrain使用此参数 (2) 可选值如下: · en:英文 · cn:中文 · code:代码,仅支持通用语料 |
resourceConfig说明
名称 | 类型 | 必填 | 描述 |
---|---|---|---|
idleResource | bool | 否 | 是否开启潮汐调度任务,说明: 目前只有SFT的任务,支持潮汐任务调度 |
datasetConfig说明
名称 | 类型 | 必填 | 描述 |
---|---|---|---|
sourceType | string | 是 | 数据来源,可选值: · Platform · Bos |
versions | List<datasetVersion> | 是 | 数据集版本列表,说明:可以通过以下方法获取该数据版本值: 在控制台-数据集管理页面,查看某数据集版本,如下图所以: |
splitRatio | double | 是 | 数据拆分比例,取值范围:[0,20] |
validationDatasetSourceType | string | 否 | 验证集数据来源,可选值如下: · Platform |
validationDatasetVersions | List<datasetVersion> | 否 | 验证集数据版本列表 |
datasetVersion说明
名称 | 类型 | 必填 | 描述 |
---|---|---|---|
versionId | string | 否 | 数据集版本ID,说明: (1) 当sourceType为Platform时,该字段必传 (2) 数据集必须是已发布的数据集 (3)可以通过以下方法获取该字段值,在控制台-数据集管理页面,查看某数据集版本ID,如下图所示: |
samplingRate | float | 否 | 数据集采样率,说明: (1)sourceType为Platform时,该字段有效 (2)取值范围:[0.01-10],默认值1 |
versionBosUri | string | 否 | 数据集版本bos地址,说明: (1)当sourceType为Bos时,该字段必传 |
modelConfig说明
名称 | 类型 | 必填 | 描述 |
---|---|---|---|
modelId | string | 是 | 模型ID |
modelVersionId | string | 是 | 模型版本ID |
hyperParameterConfig说明
名称 | 类型 | 必填 | 描述 |
---|---|---|---|
epoch | int | 否 | 迭代轮次,说明:该字段取值详情参考模型支持情况 |
learningRate | float | 否 | 学习率,说明:该字段取值详情参考模型支持情况 |
batchSize | int | 否 | 批处理大小,说明:该字段取值更多详情参考模型支持情况 |
maxSeqLen | int | 否 | 序列长度,说明:该字段取值更多详情参考模型支持情况 |
loggingSteps | int | 否 | 保存日志间隔,说明:该字段取值更多详情参考模型支持情况 |
warmupRatio | float | 否 | 预热比例,说明:该字段取值更多详情参考模型支持情况 |
weightDecay | float | 否 | 正则化系数,说明:该字段取值更多详情参考模型支持情况 |
loraRank | int | 否 | LoRA 策略中的秩,说明:该字段取值更多详情参考模型支持情况 |
loraAlpha | int | 否 | 说明:该字段取值更多详情参考模型支持情况 |
loraAllLinear | true | 否 | LoRA 所有线性层,说明:该字段取值更多详情参考模型支持情况 |
loraTargetModules | string[] | 否 | 说明:该字段取值更多详情参考模型支持情况 |
loraDropout | float | 否 | 说明:该字段取值更多详情参考模型支持情况 |
schedulerName | string | 否 | 说明:该字段取值更多详情参考模型支持情况 |
Packing | string | 否 | 可选值:true、false 或 auto,默认值auto,说明:该字段取值更多详情参考模型支持情况 |
globalBatchSize | int | 否 | 说明:该字段取值更多详情参考模型支持情况 |
pseudoSamplingProb | float | 否 | 说明:该字段取值更多详情参考模型支持情况 |
checkpointCount | int | 否 | 说明:该字段取值更多详情参考模型支持情况 |
saveStep | int | 否 | 说明:该字段取值更多详情参考模型支持情况 |
dpoBeta | float | 否 | 说明:该字段取值更多详情参考模型支持情况 |
seed | int | 否 | 说明:该字段取值更多详情参考模型支持情况 |
lrSchedulerType | string | 否 | 说明:该字段取值更多详情参考模型支持情况 |
lrEnd | float | 否 | 说明:该字段取值更多详情参考模型支持情况 |
power | int | 否 | 说明:该字段取值更多详情参考模型支持情况 |
validationStep | int | 否 | 说明:该字段取值更多详情参考模型支持情况 |
earlyStopping | bool | 否 | 说明:该字段取值更多详情参考模型支持情况 |
earlyStopMetric | string | 否 | 说明:该字段取值更多详情参考模型支持情况 |
early_stopping_threshold | int | 否 | 说明:该字段取值更多详情参考模型支持情况 |
early_stopping_patience | int | 否 | 说明:该字段取值更多详情参考模型支持情况 |
tensorParallelDegree | int | 否 | 说明: 该字段取值更多详情参考模型支持情况 |
shardingParallelDegree | int | 否 | 说明: 该字段取值更多详情参考模型支持情况 |
sharding | string | 否 | 说明: 该字段取值更多详情参考模型支持情况 |
recompute | int | 否 | 说明: 该字段取值更多详情参考模型支持情况 |
critic_learning_rate | float | 否 | 说明: 该字段取值更多详情参考模型支持情况 |
clip_range_score | int | 否 | 说明: 该字段取值更多详情参考模型支持情况 |
clip_range_value | int | 否 | 说明: 该字段取值更多详情参考模型支持情况 |
clip_range_ratio | float | 否 | 说明: 该字段取值更多详情参考模型支持情况 |
top_p | float | 否 | 说明: 该字段取值更多详情参考模型支持情况 |
repetition_penalty | float | 否 | 说明: 该字段取值更多详情参考模型支持情况 |
temperature | float | 否 | 说明: 该字段取值更多详情参考模型支持情况 |
kl_coeff | float | 否 | 说明: 该字段取值更多详情参考模型支持情况 |
checkpointSaveStrategy | string | 否 | 说明: 该字段取值更多详情参考模型支持情况 |
返回参数
名称 | 类型 | 描述 |
---|---|---|
requestId | string | 请求ID |
result | object | 请求结果 |
result说明
名称 | 类型 | 描述 |
---|---|---|
jobId | string | 作业ID |
taskId | string | 任务ID |