创建模型精调任务

更新时间：2024-11-18

功能介绍

本接口用于创建模型精调任务。

HTTP调用

鉴权说明

调用本文API，使用“基于安全认证AK/SK”进行签名计算鉴权，即使用安全认证中的Access Key ID 和 Secret Access Key进行鉴权，具体鉴权认证机制参考HTTP调用鉴权说明。

请求说明

基本信息

请求地址： https://qianfan.baidubce.com/v2/finetuning

请求方式： POST

Header参数

名称	类型	必填	描述
Content-Type	string	是	固定值application/json
x-bce-date	string	否	当前时间，遵循ISO8601规范，格式如2016-04-06T08:23:49Z
Authorization	string	是	用于验证请求合法性的认证信息，更多内容请参考鉴权认证机制，签名工具可参考IAM签名工具

Query参数

名称	类型	必填	描述
Action	string	是	方法名称，固定值CreateFineTuningTask

Body参数

名称	类型	必填	描述
jobId	string	是	作业ID，可以通过以下方式获取该参数值，以SFT为例说明：在控制台-模型精调页面，查看ID，如下图所示：
incrementTaskId	string	否	基础任务ID，说明：（1）如果是增量训练，该字段必传（2）传了该字段，默认走增量训练（3）基础任务的模型类型要和作业一致（4）自定义模型作业不支持增量训练
incrementCheckpointStep	int	否	基础任务Step，说明：如果基础任务是多checkpoint任务，该字段必传
parameterScale	string	否	调优的参数规模，该字段取值详情参考模型支持情况
hyperParameterConfig	object	是	超参数配置，说明：该字段请查看本文hyperParameterConfig说明，也可以参考模型支持情况
datasetConfig	object	是	数据集配置
corpusConfig	object	否	混合语料配置
modelConfig	object	否	模型配置，说明：只支持自定义模型作业，此时该参数必传
resourceConfig	object	否	资源池配置

corpusConfig说明

名称	类型	必填	描述
generalCorpusProportion	double	否	通用语料混入比例，说明：（1）取值范围：大于0。默认为0，不混入此语料（2）仅支持ERNIE系列模型使用此参数
verticalCorpusProportion	double	否	垂直语料混入比例，说明：（1）取值范围：大于0。默认为0，不混入此语料（2）仅支持ERNIE系列模型使用此参数
defaultCorpusProportion	double	否	默认语料混入比例，说明：（1）取值范围：[0-100]。默认为0，不混入此语料（2）仅支持开源系列模型使用此参数
copyData	bool	否	是否数据拷贝，说明：（1）如果在配置的混合比例下，需要混合的数据量超出了平台混合数据的总量。（2）此参数作用于通用语料和垂直语料。（3）可选值如下： · false：不重复，选择数据训练，默认为false · true：重复选择数据
labels	List<string>	否	混入语料任务类型，说明：（1）仅支持垂直混合语料使用此参数（2）SFT和Post-pretrain支持的任务类型不同。（3）SFT支持以下任务类型： · 知识问答 · 文本创作 · 表格问答 · 信息抽取 · 指令理解 · 标题生成 · 问题生成 · 示例学习 · 文本属性分析 · 摘要 · 语言推理 · 阅读理解 · 文本分类 · Json转文本 · 代码生成 · 代码纠错 · 代码解释 · 理科试题 · 多轮对话 · 角色扮演（多轮） · 风格定制（多轮） · 翻译 · 文科试题 · Agent · NL2SQL · 记忆增强（4）Post-pretrain支持以下任务类型： · 金融 · 医疗 · 广告传媒 · 电商 · 旅游 · 教育 · 交通物流 · 地产家装 · 法律 · 党政 · 游戏 · 科技 · 化工 · 能源 · 机械
languages	List<string>	否	混合通用/垂直语料的语言类型，说明：（1）仅支持Post-pretrain使用此参数（2）可选值如下： · en：英文 · cn：中文 · code：代码，仅支持通用语料

resourceConfig说明

名称	类型	必填	描述
idleResource	bool	否	是否开启潮汐调度任务，说明：目前只有SFT的任务，支持潮汐任务调度

datasetConfig说明

名称	类型	必填	描述
sourceType	string	是	数据来源，可选值： · Platform · Bos
versions	List<datasetVersion>	是	数据集版本列表，说明：可以通过以下方法获取该数据版本值：在控制台-数据集管理页面，查看某数据集版本，如下图所以：
splitRatio	double	是	数据拆分比例，取值范围：[0,20]
validationDatasetSourceType	string	否	验证集数据来源，可选值如下： · Platform
validationDatasetVersions	List<datasetVersion>	否	验证集数据版本列表

datasetVersion说明

名称	类型	必填	描述
versionId	string	否	数据集版本ID，说明：（1）当sourceType为Platform时，该字段必传（2）数据集必须是已发布的数据集（3）可以通过以下方法获取该字段值，在控制台-数据集管理页面，查看某数据集版本ID，如下图所示：
samplingRate	float	否	数据集采样率，说明：（1）sourceType为Platform时，该字段有效（2）取值范围：[0.01-10]，默认值1
versionBosUri	string	否	数据集版本bos地址，说明：（1）当sourceType为Bos时，该字段必传

modelConfig说明

名称	类型	必填	描述
modelId	string	是	模型ID
modelVersionId	string	是	模型版本ID

hyperParameterConfig说明

名称	类型	必填	描述
epoch	int	否	迭代轮次，说明：该字段取值详情参考模型支持情况
learningRate	float	否	学习率，说明：该字段取值详情参考模型支持情况
batchSize	int	否	批处理大小，说明：该字段取值更多详情参考模型支持情况
maxSeqLen	int	否	序列长度，说明：该字段取值更多详情参考模型支持情况
loggingSteps	int	否	保存日志间隔，说明：该字段取值更多详情参考模型支持情况
warmupRatio	float	否	预热比例，说明：该字段取值更多详情参考模型支持情况
weightDecay	float	否	正则化系数，说明：该字段取值更多详情参考模型支持情况
loraRank	int	否	LoRA 策略中的秩，说明：该字段取值更多详情参考模型支持情况
loraAlpha	int	否	说明：该字段取值更多详情参考模型支持情况
loraAllLinear	bool	否	LoRA 所有线性层，说明：该字段取值更多详情参考模型支持情况
loraTargetModules	string	否	说明：该字段取值更多详情参考模型支持情况
loraDropout	float	否	说明：该字段取值更多详情参考模型支持情况
schedulerName	string	否	说明：该字段取值更多详情参考模型支持情况
Packing	string	否	可选值：true、false 或 auto，默认值auto，说明：该字段取值更多详情参考模型支持情况
globalBatchSize	int	否	说明：该字段取值更多详情参考模型支持情况
pseudoSamplingProb	float	否	说明：该字段取值更多详情参考模型支持情况
checkpointCount	int	否	说明：该字段取值更多详情参考模型支持情况
saveStep	int	否	说明：该字段取值更多详情参考模型支持情况
dpoBeta	float	否	说明：该字段取值更多详情参考模型支持情况
seed	int	否	说明：该字段取值更多详情参考模型支持情况
lrSchedulerType	string	否	说明：该字段取值更多详情参考模型支持情况
lrEnd	float	否	说明：该字段取值更多详情参考模型支持情况
power	int	否	说明：该字段取值更多详情参考模型支持情况
validationStep	int	否	说明：该字段取值更多详情参考模型支持情况
earlyStopping	bool	否	说明：该字段取值更多详情参考模型支持情况
earlyStopMetric	string	否	说明：该字段取值更多详情参考模型支持情况
early_stopping_threshold	int	否	说明：该字段取值更多详情参考模型支持情况
early_stopping_patience	int	否	说明：该字段取值更多详情参考模型支持情况
tensorParallelDegree	int	否	说明：该字段取值更多详情参考模型支持情况
shardingParallelDegree	int	否	说明：该字段取值更多详情参考模型支持情况
sharding	string	否	说明：该字段取值更多详情参考模型支持情况
recompute	int	否	说明：该字段取值更多详情参考模型支持情况
critic_learning_rate	float	否	说明：该字段取值更多详情参考模型支持情况
clip_range_score	int	否	说明：该字段取值更多详情参考模型支持情况
clip_range_value	int	否	说明：该字段取值更多详情参考模型支持情况
clip_range_ratio	float	否	说明：该字段取值更多详情参考模型支持情况
top_p	float	否	说明：该字段取值更多详情参考模型支持情况
repetition_penalty	float	否	说明：该字段取值更多详情参考模型支持情况
temperature	float	否	说明：该字段取值更多详情参考模型支持情况
kl_coeff	float	否	说明：该字段取值更多详情参考模型支持情况

响应说明

名称	类型	描述
requestId	string	请求ID
result	object	请求结果

result说明

名称	类型	描述
jobId	string	作业ID
taskId	string	任务ID

请求示例

bash

curl --location 'https://qianfan.baidubce.com/v2/finetuning?Action=CreateFineTuningTask' \
--header 'Authorization: bce-auth-v1/f0ee7xxx8079702c13/2023-09-19T13:42:13Z/180000/host;x-bce-date/9a8cfb8ee58a8f44xxx' \
--header 'x-bce-date: 2023-09-19T13:37:10Z' \
--header 'Content-Type: application/json' \
--data '{
    "jobId": "job-1xzycis4jm3b",
    "parameterScale": "FullFineTuning",
    "hyperParameterConfig": {
        "epoch": 1,
        "learningRate": 0.00003,
        "maxSeqLen": 4096
    },
    "datasetConfig": {
        "sourceType": "Platform",
        "versions": [{
            "versionId": "ds-he8srs01ym0b8fh7"
        }],
        "splitRatio": 20
    }
}'

响应示例

JSON

{
    "requestId":"1bef3f87-c5b2-4419-936b-50f9884f10d4",
    "result":{
        "jobId":"job-n50985crhqq3",
        "taskId":"task-nycp7bycjjn7"
    }
}

SDK调用

平台支持通过Python SDK、Go SDK、Java SDK 和 Node.js SDK调用本文API，SDK调用说明文档请参考创建模型精调任务。

错误码

若请求错误，服务器将返回的JSON文本包含以下参数：

名称	描述
requestId	请求ID
code	错误码
message	错误描述信息，帮助理解和解决发生的错误

例如错误返回：

{
    "requestId":"6ba7b810-xxxc04fd430c8",
    "code":"AccessDenied",
    "message":"Access denied."
}

更多其他错误码，也可以查看错误码说明。

删除模型精调作业

停止模型精调任务

百度智能云

百度智能云千帆大模型服务与开发平台ModelBuilder