获取数据集版本列表

更新时间：2024-11-08

功能介绍

本接口用于查询某数据集的版本列表。

使用说明

本文API支持通过Python SDK、Go SDK、Java SDK 和 Node.js SDK调用，调用流程请参考SDK安装及使用流程。

SDK调用

调用示例

import json
import os

from qianfan.resources.console.data import Data

# 使用安全认证AK/SK鉴权，通过环境变量方式初始化；替换下列示例中参数，安全认证Access Key替换your_iam_ak，Secret Key替换your_iam_sk
os.environ["QIANFAN_ACCESS_KEY"] = "your_iam_ak"
os.environ["QIANFAN_SECRET_KEY"] = "your_iam_sk"

resp = Data.V2.get_dataset_version_list("ds-xxx")

print(json.dumps(resp.body))

package main

import (
    "context"
    "fmt"
    "os"

    "github.com/baidubce/bce-qianfan-sdk/go/qianfan"
)

func main() {
     // 使用安全认证AK/SK鉴权，通过环境变量初始化；替换下列示例中参数，安全认证Access Key替换your_iam_ak，Secret Key替换your_iam_sk
    os.Setenv("QIANFAN_ACCESS_KEY", "your_iam_ak")
    os.Setenv("QIANFAN_SECRET_KEY", "your_iam_sk")
    
    ca := qianfan.NewConsoleAction()
    
    res, err := ca.Call(context.TODO(),
    // 调用本文API，该参数值为固定值，无需修改；对应本文HTTP调用-请求说明-请求地址的后缀
    "/v2/dataset",
    // 调用本文API，该参数值为固定值，无需修改；对应本文HTTP调用-请求说明-请求参数-Query参数的Action
    "DescribeDatasetVersions",
    // 对应本文HTTP调用-请求说明-请求参数-Body参数，具体使用请查看Body参数说明，根据实际使用选择参数
    map[string]interface{}{
                "datasetId": "ds-xxx",
                "marker": "",
                "maxKeys": 2,
                "pageReverse": false,
    })
    if err != nil {
        panic(err)
    }
    fmt.Println(string(res.Body))
    
}

import com.baidubce.qianfan.Qianfan;
import com.baidubce.qianfan.model.console.ConsoleResponse;
import com.baidubce.qianfan.util.CollUtils;
import com.baidubce.qianfan.util.Json;
import java.util.Map;

public class Dome {
    public static void main(String args[]){
        // 使用安全认证AK/SK鉴权，替换下列示例中参数，安全认证Access Key替换your_iam_ak，Secret Key替换your_iam_sk
        Qianfan qianfan = new Qianfan("your_iam_ak", "your_iam_sk");
        
        ConsoleResponse<Map<String, Object>> response = qianfan.console()
                // 调用本文API，该参数值为固定值，无需修改；对应本文HTTP调用-请求说明-请求地址的后缀
                .route("/v2/dataset")
                // 调用本文API，该参数值为固定值，无需修改；对应本文HTTP调用-请求说明-请求参数-Query参数的Action
                .action("DescribeDatasetVersions")
                // 需要传入参数的场景，可以自行封装请求类，或者使用Map.of()来构建请求Body
                // Java 8可以使用SDK提供的CollUtils.mapOf()来替代Map.of()
                // 对应本文HTTP调用-请求说明-请求参数-Body参数，具体使用请查看Body参数说明，根据实际使用选择参数
                .body(CollUtils.mapOf(
                        "datasetId", "ds-xxx",
                        "marker", "",
                        "maxKeys", 2,
                        "pageReverse", false
                ))
                .execute();

        System.out.println(Json.serialize(response));
    }
}

import {consoleAction, setEnvVariable} from "@baiducloud/qianfan";

// 使用安全认证AK/SK鉴权，通过环境变量初始化；替换下列示例中参数，安全认证Access Key替换your_iam_ak，Secret Key替换your_iam_sk
setEnvVariable('QIANFAN_ACCESS_KEY','your_iam_ak');
setEnvVariable('QIANFAN_SECRET_KEY','your_iam_sk');

async function main() {
  //base_api_route:调用本文API，该参数值为固定值，无需修改；对应本文HTTP调用-请求说明-请求地址的后缀
  //action:调用本文API，该参数值为固定值，无需修改；对应本文HTTP调用-请求说明-请求参数-Query参数的Action
  //data:对应本文HTTP调用-请求说明-请求参数-Body参数，具体使用请查看Body参数说明，根据实际使用选择参数
  const res = await consoleAction({base_api_route: '/v2/dataset', action: 'DescribeDatasetVersions', data: {
        "datasetId": "ds-xxx",
        "marker": "",
        "maxKeys": 2,
        "pageReverse": false
    }
  });    
    
  console.log(res);
}

main();

返回示例

{
	"requestId": "1bef3f87-c5b2-4419-936b-50f9884f10d4",
	"result": {
		"pageInfo": {
			"marker": "",
			"maxKeys": 2,
			"isTruncated": True,
			"nextMarker": "ds-xxx", // 下次请求使用的marker
            "pageReverse": False
		},
        "datasetId": "dg-xxx",
        "datasetName": "helloDatasetDetail",
        "dataFormat": "PromptResponse",
		"datasetVersions": [
            {
                "versionId": "ds-ck73i9r6423t1rzm",
                "versionNumber": 1,
                "description": "",
                "storageType": "sysStorage",
                "sizeMB": 0.05,
                "sampleCount": 35,
                "characterCount": 111,
                "annotationProgress": "35/35",
                "importStatus": "Importing",
                "publishStatus": "Unpublished",
                "createTime": "2024-07-24 21:29:44",
                "modifyTime": "2024-07-24 21:29:50"
            },
            {
                "versionId": "ds-yx9ajxk2s80m84m4",
                "versionNumber": 2,
                "description": "",
                "storageType": "BOS",
                "storagePath": "bos:/{your_bucket}/{you_dir}",
                "sizeMB": 0.02,
                "sampleCount": 35,
                "characterCount": 111,
                "annotationProgress": "35/35",
                "importStatus": "Importing",
                "publishStatus": "Unpublished",
                "creator":"accountName",
                "createTime": "2024-07-24 23:12:43",
                "modifyTime": "2024-07-24 23:13:35"
            }
		]
	}
}

{
	"requestId": "1bef3f87-c5b2-4419-936b-50f9884f10d4",
	"result": {
		"pageInfo": {
			"marker": "",
			"maxKeys": 2,
			"isTruncated": true,
			"nextMarker": "ds-xxx", // 下次请求使用的marker
            "pageReverse": false
		},
        "datasetId": "dg-xxx",
        "datasetName": "helloDatasetDetail",
        "dataFormat": "PromptResponse",
		"datasetVersions": [
            {
                "versionId": "ds-ck73i9r6423t1rzm",
                "versionNumber": 1,
                "description": "",
                "storageType": "sysStorage",
                "sizeMB": 0.05,
                "sampleCount": 35,
                "characterCount": 111,
                "annotationProgress": "35/35",
                "importStatus": "Importing",
                "publishStatus": "Unpublished",
                "creator":"accountName",
                "createTime": "2024-07-24 21:29:44",
                "modifyTime": "2024-07-24 21:29:50"
            },
            {
                "versionId": "ds-yx9ajxk2s80m84m4",
                "versionNumber": 2,
                "description": "",
                "storageType": "BOS",
                "storagePath": "bos:/{your_bucket}/{you_dir}",
                "sizeMB": 0.02,
                "sampleCount": 35,
                "characterCount": 111,
                "annotationProgress": "35/35",
                "importStatus": "Importing",
                "publishStatus": "Unpublished",
                "creator":"accountName",
                "createTime": "2024-07-24 23:12:43",
                "modifyTime": "2024-07-24 23:13:35"
            }
		]
	}
}

{
	"requestId": "1bef3f87-c5b2-4419-936b-50f9884f10d4",
	"result": {
		"pageInfo": {
			"marker": "",
			"maxKeys": 2,
			"isTruncated": true,
			"nextMarker": "ds-xxx", // 下次请求使用的marker
            "pageReverse": false
		},
        "datasetId": "dg-xxx",
        "datasetName": "helloDatasetDetail",
        "dataFormat": "PromptResponse",
		"datasetVersions": [
            {
                "versionId": "ds-ck73i9r6423t1rzm",
                "versionNumber": 1,
                "description": "",
                "storageType": "sysStorage",
                "sizeMB": 0.05,
                "sampleCount": 35,
                "characterCount": 111,
                "annotationProgress": "35/35",
                "importStatus": "Importing",
                "publishStatus": "Unpublished",
                "creator":"accountName",
                "createTime": "2024-07-24 21:29:44",
                "modifyTime": "2024-07-24 21:29:50"
            },
            {
                "versionId": "ds-yx9ajxk2s80m84m4",
                "versionNumber": 2,
                "description": "",
                "storageType": "BOS",
                "storagePath": "bos:/{your_bucket}/{you_dir}",
                "sizeMB": 0.02,
                "sampleCount": 35,
                "characterCount": 111,
                "annotationProgress": "35/35",
                "importStatus": "Importing",
                "publishStatus": "Unpublished",
                "creator":"accountName",
                "createTime": "2024-07-24 23:12:43",
                "modifyTime": "2024-07-24 23:13:35"
            }
		]
	}
}

{
	requestId: '1bef3f87-c5b2-4419-936b-50f9884f10d4',
	result: {
		pageInfo: {
			marker: '',
			maxKeys: 2,
			isTruncated: true,
			nextMarker: 'ds-xxx', // 下次请求使用的marker
            pageReverse: false
		},
        datasetId: 'dg-xxx',
        datasetName: 'helloDatasetDetail',
        dataFormat: 'PromptResponse',
		datasetVersions: [
            {
                versionId: 'ds-ck73i9r6423t1rzm',
                versionNumber: 1,
                description: '',
                storageType: 'sysStorage',
                sizeMB: 0.05,
                sampleCount: 35,
                characterCount: 111,
                annotationProgress: '35/35',
                importStatus: 'Importing',
                publishStatus: 'Unpublished',
                creator:'accountName',
                createTime: '2024-07-24 21:29:44',
                modifyTime: '2024-07-24 21:29:50'
            },
            {
                versionId: 'ds-yx9ajxk2s80m84m4',
                versionNumber: 2,
                description: '',
                storageType: 'BOS',
                storagePath: 'bos:/{your_bucket}/{you_dir}',
                sizeMB: 0.02,
                sampleCount: 35,
                characterCount: 111,
                annotationProgress: '35/35',
                importStatus: 'Importing',
                publishStatus: 'Unpublished',
                creator:'accountName',
                createTime: '2024-07-24 23:12:43',
                modifyTime: '2024-07-24 23:13:35'
            }
		]
	}
}

请求参数

注意：不同语言SDK的请求参数不同，请根据实际调用选择对应参数。

Python SDK请求参数说明

名称	类型	必填	描述
dataset_id	string	是	查询的数据集ID，示例：dg-xxx，说明：通过调用创建数据集接口，返回的datasetId字段获取
marker	string	否	本次查询的起始位置，第一条查询该字段设为空
max_keys	int	否	请求列表长度，最大为100，默认值是10，如果指定的值大于100，按100操作
pageReverse	bool	否	是否倒序，默认否，即按照版本创建时间顺序排列
filter	dict	否	筛选条件，说明：（1）支持根据导入状态和发布状态进行筛选，对应Key为importStatusList和publishStatusList （2）示例：{"importStatusList": ["Importing", "ImportFailed"], "publishStatusList":["Unpublished"]}

filter说明

名称	类型	必填	描述
importStatusList	List<string>	否	根据导入状态进行筛选，可选值如下： · 新建：Created · 导入中：Importing · 导入完成：ImportFinished · 导入失败：ImportFailed
publishStatusList	List<string>	否	根据发布状态进行筛选，可选值如下： · 未发布：Unpublished · 发布中：Publishing · 已发布：Published · 发布失败：PublishFailed

其它SDK请求参数说明

名称	类型	必填	描述
datasetId	string	是	查询的数据集ID，示例：dg-xxx，说明：通过调用创建数据集接口，返回的datasetId字段获取
marker	string	否	本次查询的起始位置，第一条查询该字段设为空
maxKeys	int	否	请求列表长度，最大为100，默认值是10，如果指定的值大于100，按100操作
pageReverse	bool	否	是否倒序，默认否，即按照版本创建时间顺序排列
filter	object	否	筛选条件，说明：（1）支持根据导入状态和发布状态进行筛选，对应Key为importStatusList和publishStatusList （2）示例：{"importStatusList": ["Importing", "ImportFailed"], "publishStatusList":["Unpublished"]}

filter说明

名称	类型	必填	描述
importStatusList	List<string>	否	根据导入状态进行筛选，可选值如下： · 新建：Created · 导入中：Importing · 导入完成：ImportFinished · 导入失败：ImportFailed
publishStatusList	List<string>	否	根据发布状态进行筛选，可选值如下： · 未发布：Unpublished · 发布中：Publishing · 已发布：Published · 发布失败：PublishFailed

返回参数

名称	类型	描述
requestId	string	请求ID
result	object	数据集版本列表相关信息，请求成功时返回
code	string	错误码，请求失败时返回
message	string	错误信息，请求失败时返回

result说明

名称	类型	描述
pageInfo	object	分页信息
datasetId	string	数据集ID
datasetName	string	数据集名称
dataFormat	string	数据格式，说明： · PromptResponse：表示Prompt+Response · Role：表示Role(user+assistant) · Text：表示纯文本 · DPO_PromptChosenRejected：表示DPO或SimPO数据格式 · KTO_PromptChosenRejected：表示KTO数据格式 · PromptSortedresponses：表示Prompt+多Response排序 · Prompt：表示Prompt集 · PromptImage：表示Prompt+图片 · PromptImageResponse：表示Prompt+Image+Response
datasetVersionCount	int	数据集版本数量
datasetVersions	List<datasetVersion>	数据集版本列表

pageInfo说明

名称	类型	描述
marker	string	本次查询的起始位置，第一次传空
maxKeys	int	返回数量
isTruncated	bool	指明是否只返回了部分数据，false表示本次已经返回所有结果，true表示本次还没有返回所有结果
nextMarker	string	当isTruncated为true时，才返回此项，作为下次查询marker的值
pageReverse	bool	是否倒序，默认否，即按照版本创建时间顺序排列

datasetVersions说明

名称	类型	描述
versionId	string	数据集版本ID
versionNumber	int	数据集版本序号
description	string	版本描述
storageType	string	存储类型，说明： · BOS：表示对象存储BOS · sysStorage：表示平台共享存储
storagePath	string	存储类型为对象存储BOS时，对应的完整存储路径
sizeMB	float	数据集大小，单位为MB，例：0.01
sampleCount	int	数据集样本数
annotationProgress	string	数据集样本标注进度，示例：1/10
importStatus	string	导入状态，说明： · 新建：Created · 导入中：Importing · 导入完成：ImportFinished · 导入失败：ImportFailed
publishStatus	string	发布状态，说明： · 未发布：Unpublished · 发布中：Publishing · 已发布：Published · 发布失败：PublishFailed
creator	string	创建人
createTime	string	创建时间，格式：YYYY-MM-DD hh:mm:ss
modifyTime	string	更新时间，格式：YYYY-MM-DD hh:mm:ss

发布数据集版本

获取数据集版本详情

百度智能云

百度智能云千帆大模型服务与开发平台ModelBuilder