创建模型精调作业
更新时间:2024-11-18
功能介绍
本接口用于创建模型精调作业。
例如,新增作业名称为test_crea,基础模型版本为ERNIE-Speed-8K,调优的训练模式类型为SFT,作业描述为eb_speed_tasks,调用本接口成功后,在控制台-模型调优-模型精调-SFT页面,作业列表新增一条作业,如下图所示。
HTTP调用
鉴权说明
调用本文API,使用“基于安全认证AK/SK”进行签名计算鉴权,即使用安全认证中的Access Key ID 和 Secret Access Key进行鉴权,具体鉴权认证机制参考HTTP调用鉴权说明。
请求说明
- 基本信息
请求地址: https://qianfan.baidubce.com/v2/finetuning
请求方式: POST
- Header参数
名称 | 类型 | 必填 | 描述 |
---|---|---|---|
Content-Type | string | 是 | 固定值:application/json |
x-bce-date | string | 否 | 当前时间,遵循ISO8601规范,格式如2016-04-06T08:23:49Z |
Authorization | string | 是 | 用于验证请求合法性的认证信息,更多内容请参考鉴权认证机制,签名工具可参考IAM签名工具 |
- Query参数
名称 | 类型 | 必填 | 描述 |
---|---|---|---|
Action | string | 是 | 方法名称,固定值CreateFineTuningJob |
- Body参数
名称 | 类型 | 必填 | 描述 |
---|---|---|---|
name | string | 是 | 作业名称,取值范围:字符串长度为 [2, 20] |
description | string | 否 | 作业描述,取值范围:字符串长度为 [0, 500] |
model | string | 是 | 基础模型版本,支持对话续写类、图像生成类模型版本,具体值请查看模型支持情况-model值 |
trainMode | string | 是 | 调优的训练模式类型,说明:该字段取值,请参考模型支持情况 |
parameterScale | string | 否 | 调优的参数规模,说明:该字段取值,请参考模型支持情况 |
hyperParameterConfig | object | 否 | 超参数配置,说明:该字段请查看本文hyperParameterConfig说明,也可以参考模型支持情况 |
hyperParameterConfig说明
名称 | 类型 | 必填 | 描述 |
---|---|---|---|
epoch | int | 否 | 迭代轮次,说明:该字段取值详情参考模型支持情况 |
learningRate | float | 否 | 学习率,说明:该字段取值详情参考模型支持情况 |
batchSize | int | 否 | 批处理大小,说明:该字段取值更多详情参考模型支持情况 |
maxSeqLen | int | 否 | 序列长度,说明:该字段取值更多详情参考模型支持情况 |
loggingSteps | int | 否 | 保存日志间隔,说明:该字段取值更多详情参考模型支持情况 |
warmupRatio | float | 否 | 预热比例,说明:该字段取值更多详情参考模型支持情况 |
weightDecay | float | 否 | 正则化系数,说明:该字段取值更多详情参考模型支持情况 |
loraRank | int | 否 | LoRA 策略中的秩,说明:该字段取值更多详情参考模型支持情况 |
loraAlpha | int | 否 | 说明:该字段取值更多详情参考模型支持情况 |
loraAllLinear | bool | 否 | LoRA 所有线性层,说明:该字段取值更多详情参考模型支持情况 |
loraTargetModules | string | 否 | 说明:该字段取值更多详情参考模型支持情况 |
loraDropout | float | 否 | 说明:该字段取值更多详情参考模型支持情况 |
schedulerName | string | 否 | 说明:该字段取值更多详情参考模型支持情况 |
Packing | string | 否 | 可选值:true、false 或 auto,默认值auto,说明:该字段取值更多详情参考模型支持情况 |
globalBatchSize | int | 否 | 说明:该字段取值更多详情参考模型支持情况 |
pseudoSamplingProb | float | 否 | 说明:该字段取值更多详情参考模型支持情况 |
checkpointCount | int | 否 | 说明:该字段取值更多详情参考模型支持情况 |
saveStep | int | 否 | 说明:该字段取值更多详情参考模型支持情况 |
dpoBeta | float | 否 | 说明:该字段取值更多详情参考模型支持情况 |
seed | int | 否 | 说明:该字段取值更多详情参考模型支持情况 |
lrSchedulerType | string | 否 | 说明:该字段取值更多详情参考模型支持情况 |
lrEnd | float | 否 | 说明:该字段取值更多详情参考模型支持情况 |
power | int | 否 | 说明:该字段取值更多详情参考模型支持情况 |
validationStep | int | 否 | 说明:该字段取值更多详情参考模型支持情况 |
earlyStopping | bool | 否 | 说明:该字段取值更多详情参考模型支持情况 |
earlyStopMetric | string | 否 | 说明:该字段取值更多详情参考模型支持情况 |
earlyStoppingThreshold | int | 否 | 说明:该字段取值更多详情参考模型支持情况 |
earlyStoppingPatience | int | 否 | 说明:该字段取值更多详情参考模型支持情况 |
tensorParallelDegree | int | 否 | 说明: 该字段取值更多详情参考模型支持情况 |
shardingParallelDegree | int | 否 | 说明: 该字段取值更多详情参考模型支持情况 |
sharding | string | 否 | 说明: 该字段取值更多详情参考模型支持情况 |
recompute | int | 否 | 说明: 该字段取值更多详情参考模型支持情况 |
critic_learning_rate | float | 否 | 说明: 该字段取值更多详情参考模型支持情况 |
clip_range_score | int | 否 | 说明: 该字段取值更多详情参考模型支持情况 |
clip_range_value | int | 否 | 说明: 该字段取值更多详情参考模型支持情况 |
clip_range_ratio | float | 否 | 说明: 该字段取值更多详情参考模型支持情况 |
top_p | float | 否 | 说明: 该字段取值更多详情参考模型支持情况 |
repetition_penalty | float | 否 | 说明: 该字段取值更多详情参考模型支持情况 |
temperature | float | 否 | 说明: 该字段取值更多详情参考模型支持情况 |
kl_coeff | float | 否 | 说明: 该字段取值更多详情参考模型支持情况 |
响应说明
名称 | 类型 | 描述 |
---|---|---|
requestId | string | 请求ID |
result | object | 请求结果 |
result说明
名称 | 类型 | 描述 |
---|---|---|
jobId | string | 作业ID |
请求示例
curl --location 'https://qianfan.baidubce.com/v2/finetuning?Action=CreateFineTuningJob' \
--header 'Authorization: bce-auth-v1/f0exxx/2023-09-19T13:42:13Z/180000/host;x-bce-date/9a8cfb8exxxx' \
--header 'x-bce-date: 2023-09-19T13:37:10Z' \
--header 'Content-Type: application/json' \
--data '{
"name":"test_name",
"description":"test_description",
"model":"ERNIE-Speed-8K",
"trainMode":"SFT"
}'
响应示例
{
"requestId":"1bef3f87-c5b2-4419-936b-50f9884f10d4",
"result":{
"jobId":"job-ftp4icwebtnc"
}
}
SDK调用
平台支持通过Python SDK、Go SDK、Java SDK 和 Node.js SDK调用本文API,SDK调用说明文档请参考创建模型精调作业。
错误码
若请求错误,服务器将返回的JSON文本包含以下参数:
名称 | 描述 |
---|---|
requestId | 请求ID |
code | 错误码 |
message | 错误描述信息,帮助理解和解决发生的错误 |
例如错误返回:
{
"requestId":"6ba7b810-xxxc04fd430c8",
"code":"AccessDenied",
"message":"Access denied."
}
更多其他错误码,也可以查看错误码说明。