获取数据集版本列表
本接口用于查询某数据集的版本列表。
权限说明
调用本文API,需符合以下权限要求,权限介绍及分配,请查看角色与权限控制列表、账号创建与权限分配。需具有以下任一权限:
- 完全控制千帆大模型平台的权限:QianfanFullControlAccessPolicy
- 只读访问千帆大模型平台的权限:QianfanReadAccessPolicy
- 完全控制千帆大模型平台数据管理(除数据标注外)的权限:QianfanDataFullControlAccessPolicy
- 运维操作千帆大模型平台数据管理(除数据标注外)的权限:QianfanDataOperateAccessPolicy
- 只读访问千帆大模型平台数据管理(除数据标注外)的权限:QianfanDataReadAccessPolicy
鉴权说明
调用本文API,使用“基于安全认证AK/SK”进行签名计算鉴权,即使用安全认证中的Access Key ID 和 Secret Access Key进行鉴权,具体鉴权认证机制参考HTTP调用鉴权说明。
请求参数
方法名称,固定值DescribeDatasetVersions
本次查询的起始位置,第一条查询该字段设为空
请求列表长度,最大为100,默认值是10,如果指定的值大于100,按100操作
是否倒序,默认否,即按照版本创建时间顺序排列
筛选条件,说明:
(1)支持根据导入状态和发布状态进行筛选,对应Key为importStatusList和publishStatusList
(2)示例:{"importStatusList": ["Importing", "ImportFailed"], "publishStatusList":["Unpublished"]}
显示子属性
隐藏子属性
根据导入状态进行筛选,可选值如下:
· 新建:Created
· 导入中:Importing
· 导入完成:ImportFinished
· 导入失败:ImportFailed
显示子属性
隐藏子属性
根据发布状态进行筛选,可选值如下:
· 未发布:Unpublished
· 发布中:Publishing
· 已发布:Published
· 发布失败:PublishFailed
显示子属性
隐藏子属性
POST /v2/dataset?Action=DescribeDatasetVersions HTTP/1.1
HOST: qianfan.baidubce.com
Authorization: authorization string
Content-Type: application/json
{
"datasetId": "ds-xxx",
"marker": "",
"maxKeys": 2,
"pageReverse": false
}
示例代码
curl -i --location 'https://qianfan.baidubce.com/v2/dataset?Action=DescribeDatasetVersions'\
--header 'Authorization: bce-auth-v1/f0ee7axxxx/2023-09-19T13:42:13Z/180000/host;x-bce-date/9a8cfb8ee58a8f44a21a5xxxx74525543'\
--header 'x-bce-date: 2023-09-19T13:37:10Z'\
--header 'Content-Type: application/json'\
--data '{
"datasetId": "ds-xxx",
"marker": "",
"maxKeys": 2,
"pageReverse": false
}'
返回响应
请求ID
数据集版本列表相关信息,请求成功时返回
显示子属性
隐藏子属性
分页信息
显示子属性
隐藏子属性
本次查询的起始位置,第一次传空
返回数量
指明是否只返回了部分数据,false表示本次已经返回所有结果,true表示本次还没有返回所有结果
当isTruncated为true时,才返回此项,作为下次查询marker的值
是否倒序,默认否,即按照版本创建时间顺序排列
数据集ID
数据集名称
数据格式,说明:
· PromptResponse:表示Prompt+Response
· Role:表示Role(user+assistant)
· SFT_FIM:表示Prefix+Suffix+Middle数据格式
· Text:表示纯文本
· DPO_PromptChosenRejected:表示DPO数据格式
· KTO_PromptChosenRejected:表示KTO数据格式
· PromptSortedresponses:表示Prompt+多Response排序
· Prompt:表示Prompt集
· PromptImage:表示Prompt+图片
· PromptImageResponse:表示Prompt+Image+Response
数据集版本数量
数据集版本列表
显示子属性
隐藏子属性
显示子属性
隐藏子属性
数据集版本ID
数据集版本序号
版本描述
存储类型,说明:
· BOS:表示对象存储BOS
· sysStorage:表示平台共享存储
存储类型为对象存储BOS时,对应的完整存储路径
数据集大小,单位为MB,例:0.01
数据集样本数
数据集样本标注进度,示例:1/10
导入状态,说明:
· 新建:Created
· 导入中:Importing
· 导入完成:ImportFinished
· 导入失败:ImportFailed
发布状态,说明:
· 未发布:Unpublished
· 发布中:Publishing
· 已发布:Published
· 发布失败:PublishFailed
创建人
创建时间,格式:YYYY-MM-DD hh:mm:ss
更新时间,格式:YYYY-MM-DD hh:mm:ss
{
"requestId": "1bef3f87-c5b2-4419-936b-50f9884f10d4",
"result": {
"pageInfo": {
"marker": "",
"maxKeys": 2,
"isTruncated": true,
"nextMarker": "ds-xxx",
"pageReverse": false
},
"datasetId": "dg-xxx",
"datasetName": "helloDatasetDetail",
"dataFormat": "PromptResponse",
"datasetVersions": [
{
"versionId": "ds-ck73i9r6423t1rzm",
"versionNumber": 1,
"description": "",
"storageType": "sysStorage",
"sizeMB": 0.05,
"sampleCount": 35,
"characterCount": 111,
"annotationProgress": "35/35",
"importStatus": "Importing",
"publishStatus": "Unpublished",
"creator": "accountName",
"createTime": "2024-07-24 21:29:44",
"modifyTime": "2024-07-24 21:29:50"
},
{
"versionId": "ds-yx9ajxk2s80m84m4",
"versionNumber": 2,
"description": "",
"storageType": "BOS",
"storagePath": "bos:/{your_bucket}/{you_dir}",
"sizeMB": 0.02,
"sampleCount": 35,
"characterCount": 111,
"annotationProgress": "35/35",
"importStatus": "Importing",
"publishStatus": "Unpublished",
"creator": "accountName",
"createTime": "2024-07-24 23:12:43",
"modifyTime": "2024-07-24 23:13:35"
}
]
}
}
错误码
若请求错误,服务器将返回的JSON文本包含以下参数:
| 名称 | 描述 |
|---|---|
requestId |
请求ID |
code |
错误码 |
message |
错误描述信息,帮助理解和解决发生的错误 |
例如错误返回:
{
"requestId":"6ba7b810-xxxc04fd430c8",
"code":"AccessDenied",
"message":"Access denied."
}
更多其他错误码,也可以查看错误码说明。
评价此篇文章
