获取数据集版本列表

更新时间：2024-11-08

功能介绍

本接口用于查询某数据集的版本列表。

HTTP调用

鉴权说明

调用本文API，使用“基于安全认证AK/SK”进行签名计算鉴权，即使用安全认证中的Access Key ID 和 Secret Access Key进行鉴权，具体鉴权认证机制参考HTTP调用鉴权说明。

请求说明

基本信息

请求地址： https://qianfan.baidubce.com/v2/dataset

请求方式： POST

Header参数

名称	类型	必填	描述
Content-Type	string	是	固定值application/json
x-bce-date	string	是	当前时间，遵循ISO8601规范，格式如`2016-04-06T08:23:49Z`
Authorization	string	是	用于验证请求合法性的认证信息。更多参见鉴权认证，签名工具可参考IAM签名工具

Query参数

名称	类型	必填	描述
Action	string	是	方法名称，固定值DescribeDatasetVersions

Body参数

名称	类型	必填	描述
datasetId	string	是	查询的数据集ID，示例：dg-xxx，说明：通过调用创建数据集接口，返回的datasetId字段获取
marker	string	否	本次查询的起始位置，第一条查询该字段设为空
maxKeys	int	否	请求列表长度，最大为100，默认值是10，如果指定的值大于100，按100操作
pageReverse	bool	否	是否倒序，默认否，即按照版本创建时间顺序排列
filter	object	否	筛选条件，说明：（1）支持根据导入状态和发布状态进行筛选，对应Key为importStatusList和publishStatusList （2）示例：{"importStatusList": ["Importing", "ImportFailed"], "publishStatusList":["Unpublished"]}

filter说明

名称	类型	必填	描述
importStatusList	List<string>	否	根据导入状态进行筛选，可选值如下： · 新建：Created · 导入中：Importing · 导入完成：ImportFinished · 导入失败：ImportFailed
publishStatusList	List<string>	否	根据发布状态进行筛选，可选值如下： · 未发布：Unpublished · 发布中：Publishing · 已发布：Published · 发布失败：PublishFailed

响应说明

名称	类型	描述
requestId	string	请求ID
result	object	数据集版本列表相关信息，请求成功时返回
code	string	错误码，请求失败时返回
message	string	错误信息，请求失败时返回

result说明

名称	类型	描述
pageInfo	object	分页信息
datasetId	string	数据集ID
datasetName	string	数据集名称
dataFormat	string	数据格式，说明： · PromptResponse：表示Prompt+Response · Role：表示Role(user+assistant) · Text：表示纯文本 · DPO_PromptChosenRejected：表示DPO或SimPO数据格式 · KTO_PromptChosenRejected：表示KTO数据格式 · PromptSortedresponses：表示Prompt+多Response排序 · Prompt：表示Prompt集 · PromptImage：表示Prompt+图片 · PromptImageResponse：表示Prompt+Image+Response
datasetVersionCount	int	数据集版本数量
datasetVersions	List<datasetVersion>	数据集版本列表

pageInfo说明

名称	类型	描述
marker	string	本次查询的起始位置，第一次传空
maxKeys	int	返回数量
isTruncated	bool	指明是否只返回了部分数据，false表示本次已经返回所有结果，true表示本次还没有返回所有结果
nextMarker	string	当isTruncated为true时，才返回此项，作为下次查询marker的值
pageReverse	bool	是否倒序，默认否，即按照版本创建时间顺序排列

datasetVersions说明

名称	类型	描述
versionId	string	数据集版本ID
versionNumber	int	数据集版本序号
description	string	版本描述
storageType	string	存储类型，说明： · BOS：表示对象存储BOS · sysStorage：表示平台共享存储
storagePath	string	存储类型为对象存储BOS时，对应的完整存储路径
sizeMB	float	数据集大小，单位为MB，例：0.01
sampleCount	int	数据集样本数
annotationProgress	string	数据集样本标注进度，示例：1/10
importStatus	string	导入状态，说明： · 新建：Created · 导入中：Importing · 导入完成：ImportFinished · 导入失败：ImportFailed
publishStatus	string	发布状态，说明： · 未发布：Unpublished · 发布中：Publishing · 已发布：Published · 发布失败：PublishFailed
creator	string	创建人
createTime	string	创建时间，格式：YYYY-MM-DD hh:mm:ss
modifyTime	string	更新时间，格式：YYYY-MM-DD hh:mm:ss

请求示例

Bash

# 替换下列示例中的Authorization值、x-bce-date值
curl -i --location 'https://qianfan.baidubce.com/v2/dataset?Action=DescribeDatasetVersions'\
--header 'Authorization: bce-auth-v1/f0ee7axxxx/2023-09-19T13:42:13Z/180000/host;x-bce-date/9a8cfb8ee58a8f4xxxxxxe374525543'\ 
--header 'x-bce-date: 2023-09-19T13:37:10Z'\
--header 'Content-Type: application/json'\ 
--data '{
    "datasetId": "ds-xxx",
    "marker": "",
    "maxKeys": 2,
    "pageReverse": false
}'

响应示例

JSON

{
	"requestId": "1bef3f87-c5b2-4419-936b-50f9884f10d4",
	"result": {
		"pageInfo": {
			"marker": "",
			"maxKeys": 2,
			"isTruncated": true,
			"nextMarker": "ds-xxx", // 下次请求使用的marker
            "pageReverse": false
		},
        "datasetId": "dg-xxx",
        "datasetName": "helloDatasetDetail",
        "dataFormat": "PromptResponse",
		"datasetVersions": [
            {
                "versionId": "ds-ck73i9r6423t1rzm",
                "versionNumber": 1,
                "description": "",
                "storageType": "sysStorage",
                "sizeMB": 0.05,
                "sampleCount": 35,
                "characterCount": 111,
                "annotationProgress": "35/35",
                "importStatus": "Importing",
                "publishStatus": "Unpublished",
                "creator":"accountName",
                "createTime": "2024-07-24 21:29:44",
                "modifyTime": "2024-07-24 21:29:50"
            },
            {
                "versionId": "ds-yx9ajxk2s80m84m4",
                "versionNumber": 2,
                "description": "",
                "storageType": "BOS",
                "storagePath": "bos:/{your_bucket}/{you_dir}",
                "sizeMB": 0.02,
                "sampleCount": 35,
                "characterCount": 111,
                "annotationProgress": "35/35",
                "importStatus": "Importing",
                "publishStatus": "Unpublished",
                "creator":"accountName",
                "createTime": "2024-07-24 23:12:43",
                "modifyTime": "2024-07-24 23:13:35"
            }
		]
	}
}

SDK调用

平台支持通过Python SDK、Go SDK、Java SDK 和 Node.js SDK调用本文API，SDK调用说明文档请参考获取数据集版本列表。

错误码

若请求错误，服务器将返回的JSON文本包含以下参数：

名称	描述
requestId	请求ID
code	错误码
message	错误描述信息，帮助理解和解决发生的错误

例如错误返回：

{
    "requestId":"6ba7b810-xxxc04fd430c8",
    "code":"AccessDenied",
    "message":"Access denied."
}

更多其他错误码，也可以查看错误码说明。

发布数据集版本

发起数据集版本导入任务

百度智能云

百度智能云千帆大模型服务与开发平台ModelBuilder