创建数据集
本接口用于创建新的数据集，数据集创建完成后自带版本V1。
权限说明
调用本文API，需符合以下权限要求，权限介绍及分配，请查看角色与权限控制列表、账号创建与权限分配。需具有以下任一权限：
- 完全控制千帆大模型平台的权限：QianfanFullControlAccessPolicy
- 完全控制千帆大模型平台数据管理（除数据标注外）的权限：QianfanDataFullControlAccessPolicy
鉴权说明
调用本文API，使用"基于安全认证AK/SK"进行签名计算鉴权，即使用安全认证中的Access Key ID 和 Secret Access Key进行鉴权，具体鉴权认证机制参考HTTP调用鉴权说明。
请求参数
方法名称，固定值CreateDataset
数据集名称
数据格式，可选值如下：
· PromptResponse：表示Prompt+Response
· Role：表示Role(user+assistant)
· SFT_FIM：表示Prefix+Suffix+Middle数据格式
· Text：表示纯文本
· DPO_PromptChosenRejected：表示DPO数据格式
· KTO_PromptChosenRejected：表示KTO数据格式
· PromptSortedresponses：表示Prompt+多Response排序
· Prompt：表示Prompt集
· PromptImage：表示Prompt+图片
· PromptImageResponse：表示Prompt+Image+Response。可选值: PromptResponse, Role, SFT_FIM, Text, DPO_PromptChosenRejected, KTO_PromptChosenRejected, PromptSortedresponses, Prompt, PromptImage, PromptImageResponse
存储类型，可选值：
· BOS：表示对象存储BOS
· sysStorage：表示平台共享存储。可选值: BOS, sysStorage
存储类型为对象存储BOS时，说明：
（1）对应的完整存储路径即：bos:/bucket/dir
（2）示例：将数据集存储到 bucket：yourBucket，dir：yourDir/text需填写的bosPath为 bos:/yourBucket/yourDir/text/，注意：以左斜杠结尾
POST /v2/dataset?Action=CreateDataset HTTP/1.1
HOST: qianfan.baidubce.com
Authorization: authorization string
Content-Type: application/json
{
"datasetName": "hello_dataset",
"dataFormat": "PromptResponse",
"storageType": "BOS",
"storagePath": "bos:/yourBucket/yourDir/"
}示例代码
curl -i --location 'https://qianfan.baidubce.com/v2/dataset?Action=CreateDataset'\
--header 'Authorization: bce-auth-v1/f0ee7axxxx/2023-09-19T13:42:13Z/180000/host;x-bce-date/9a8cfb8ee58a8f44axxxxxx016e374525543'\
--header 'x-bce-date: 2023-09-19T13:37:10Z'\
--header 'Content-Type: application/json'\
--data '{
"datasetName": "hello_dataset",
"dataFormat": "PromptResponse",
"storageType": "BOS",
"storagePath":"bos:/yourBucket/yourDir/"
}'curl -i --location 'https://qianfan.baidubce.com/v2/dataset?Action=CreateDataset'\
--header 'Authorization: bce-auth-v1/f0ee7axxxx/2023-09-19T13:42:13Z/180000/host;x-bce-date/9a8cfb8ee58a8f44axxxxxx016e374525543'\
--header 'x-bce-date: 2023-09-19T13:37:10Z'\
--header 'Content-Type: application/json'\
--data '{
"datasetName": "goodBye_dataset",
"dataFormat": "PromptImage",
"storagePath": "bos:/yourBucket/yourDir/",
"storageType": "BOS"
}'返回响应
请求ID
显示子属性
隐藏子属性
数据集ID
数据集版本ID
数据集版本序号
数据集名称
数据格式，说明：
· PromptResponse：表示Prompt+Response
· Role：表示Role(user+assistant)
· SFT_FIM：表示Prefix+Suffix+Middle数据格式
· Text：表示纯文本
· DPO_PromptChosenRejected：表示DPO数据格式
· KTO_PromptChosenRejected：表示KTO数据格式
· PromptSortedresponses：表示Prompt+多Response排序
· Prompt：表示Prompt集
· PromptImage：表示Prompt+图片
· PromptImageResponse：表示Prompt+Image+Response。可选值: PromptResponse, Role, SFT_FIM, Text, DPO_PromptChosenRejected, KTO_PromptChosenRejected, PromptSortedresponses, Prompt, PromptImage, PromptImageResponse
存储类型，说明：
· BOS：表示对象存储BOS
· sysStorage：表示平台共享存储。可选值: BOS, sysStorage
存储类型为对象存储BOS时，对应的完整存储路径
创建人
创建时间，格式：YYYY-MM-DD hh:mm:ss
错误码，错误时返回
错误信息，请求失败时返回
{
"requestId": "1bef3f87-c5b2-4419-936b-50f9884f10d4",
"result": {
"versionId": "ds-xxx",
"datasetId": "dg-xxx",
"datasetName": "hello_dataset",
"versionNumber": 1,
"dataFormat": "PromptResponse",
"storageType": "BOS",
"storagePath": "bos:/yourBucket/yourDir/_system_/ds-4saih7rhmcqrp2gu/texts",
"creator": "accountName",
"createTime": "2023-10-25 16:16:38"
}
}{
"requestId": "1bef3f87-c5b2-4419-936b-50f9884f10d4",
"result": {
"versionId": "ds-xxx",
"datasetId": "dg-xxx",
"datasetName": "goodBye_dataset",
"versionNumber": 1,
"dataFormat": "PromptImage",
"storageType": "BOS",
"storagePath": "bos:/yourBucket/yourDir/_system_/dataset/ds-xxx/images",
"createTime": "2023-11-02 14:50:30"
}
}{
"requestId": "6ba7b810-xxxc04fd430c8",
"code": "AccessDenied",
"message": "Access denied."
}错误码
若请求错误，服务器将返回的JSON文本包含以下参数：
| 名称 | 描述 |
|---|---|
requestId |
请求ID |
code |
错误码 |
message |
错误描述信息，帮助理解和解决发生的错误 |
例如错误返回：
{
"requestId":"6ba7b810-xxxc04fd430c8",
"code":"AccessDenied",
"message":"Access denied."
}
更多其他错误码，也可以查看错误码说明。
评价此篇文章