获取数据集列表
更新时间:2025-07-03
功能介绍
本接口用于获取符合特定查询条件的数据集列表。
使用说明
本文API支持通过Python SDK、Go SDK、Java SDK 和 Node.js SDK调用,调用流程请参考SDK安装及使用流程。
权限说明
调用本文API,需符合以下权限要求,权限介绍及分配,请查看角色与权限控制列表、账号创建与权限分配。需具有以下任一权限:
- 完全控制千帆大模型平台的权限:QianfanFullControlAccessPolicy
- 只读访问千帆大模型平台的权限:QianfanReadAccessPolicy
- 完全控制千帆大模型平台数据管理(除数据标注外)的权限:QianfanDataFullControlAccessPolicy
- 运维操作千帆大模型平台数据管理(除数据标注外)的权限:QianfanDataOperateAccessPolicy
- 只读访问千帆大模型平台数据管理(除数据标注外)的权限:QianfanDataReadAccessPolicy
SDK调用
调用示例
1import os
2from qianfan import resources
3
4# 通过环境变量初始化认证信息
5# 使用安全认证AK/SK调用,替换下列示例中参数,安全认证Access Key替换your_iam_ak,Secret Key替换your_iam_sk,如何获取请查看https://cloud.baidu.com/doc/Reference/s/9jwvz2egb
6os.environ["QIANFAN_ACCESS_KEY"] = "your_iam_ak"
7os.environ["QIANFAN_SECRET_KEY"] = "your_iam_sk"
8
9
10
11resp = resources.console.utils.call_action(
12 # 调用本文API,该参数值为固定值,无需修改;对应API调用文档-请求结构-请求地址的后缀
13 "/v2/dataset",
14 # 调用本文API,该参数值为固定值,无需修改;对应API调用文档-请求参数-Query参数的Action
15 "DescribeDatasets",
16 # 请查看本文请求参数说明,根据实际使用选择参数;对应API调用文档-请求参数-Body参数
17 {
18 "marker": "",
19 "maxKeys": 10,
20 "pageReverse":True,
21 "filter":{
22 "dataFormatList": ["PromptResponse", "PromptImage"]
23 }
24 }
25)
26
27print(resp.body)
1package main
2
3import (
4 "context"
5 "fmt"
6 "os"
7
8 "github.com/baidubce/bce-qianfan-sdk/go/qianfan"
9)
10
11func main() {
12 // 使用安全认证AK/SK鉴权,通过环境变量初始化;替换下列示例中参数,安全认证Access Key替换your_iam_ak,Secret Key替换your_iam_sk
13 os.Setenv("QIANFAN_ACCESS_KEY", "your_iam_ak")
14 os.Setenv("QIANFAN_SECRET_KEY", "your_iam_sk")
15
16 ca := qianfan.NewConsoleAction()
17
18 res, err := ca.Call(context.TODO(),
19 // 调用本文API,该参数值为固定值,无需修改;对应API调用文档-请求结构-请求地址的后缀
20 "/v2/dataset",
21 // 调用本文API,该参数值为固定值,无需修改;对应API调用文档-请求参数-Query参数的Action
22 "DescribeDatasets",
23 // 请查看本文请求参数说明,根据实际使用选择参数;对应API调用文档-请求参数-Body参数
24 map[string]interface{}{
25 "marker": "",
26 "maxKeys": 10,
27 "pageReverse":true,
28 "filter":map[string]any{
29 "dataFormatList": []string{"PromptResponse", "PromptImage"},
30 }
31 })
32 if err != nil {
33 panic(err)
34 }
35 fmt.Println(string(res.Body))
36
37}
1import com.baidubce.qianfan.Qianfan;
2import com.baidubce.qianfan.model.console.ConsoleResponse;
3import com.baidubce.qianfan.util.CollUtils;
4import com.baidubce.qianfan.util.Json;
5import java.util.Map;
6
7public class Dome {
8 public static void main(String args[]){
9 // 使用安全认证AK/SK鉴权,替换下列示例中参数,安全认证Access Key替换your_iam_ak,Secret Key替换your_iam_sk
10 Qianfan qianfan = new Qianfan("your_iam_ak", "your_iam_sk");
11
12 ConsoleResponse<Map<String, Object>> response = qianfan.console()
13 // 调用本文API,该参数值为固定值,无需修改;对应API调用文档-请求结构-请求地址的后缀
14 .route("/v2/dataset")
15 // 调用本文API,该参数值为固定值,无需修改;对应API调用文档-请求参数-Query参数的Action
16 .action("DescribeDatasets")
17 // 需要传入参数的场景,可以自行封装请求类,或者使用Map.of()来构建请求Body
18 // Java 8可以使用SDK提供的CollUtils.mapOf()来替代Map.of()
19 // 请查看本文请求参数说明,根据实际使用选择参数;对应API调用文档-请求参数-Body参数
20 .body(CollUtils.mapOf(
21 "marker", "",
22 "maxKeys", 10,
23 "pageReverse",true,
24 "filter",CollUtils.mapOf(
25 "dataFormatList",new String[]{"PromptResponse", "PromptImage"}
26 )
27 ))
28 .execute();
29
30 System.out.println(Json.serialize(response));
31 }
32}
1import {consoleAction, setEnvVariable} from "@baiducloud/qianfan";
2
3// 使用安全认证AK/SK鉴权,通过环境变量初始化;替换下列示例中参数,安全认证Access Key替换your_iam_ak,Secret Key替换your_iam_sk
4setEnvVariable('QIANFAN_ACCESS_KEY','your_iam_ak');
5setEnvVariable('QIANFAN_SECRET_KEY','your_iam_sk');
6
7async function main() {
8
9 //base_api_route:调用本文API,该参数值为固定值,无需修改;对应API调用文档-请求结构-请求地址的后缀
10 //action:调用本文API,该参数值为固定值,无需修改;对应API调用文档-请求参数-Query参数的Action
11 //data:请查看本文请求参数说明,根据实际使用选择参数;对应API调用文档-请求参数-Body参数
12
13 const res = await consoleAction({base_api_route: '/v2/dataset', action: 'DescribeDatasets', data: {
14 "marker": "",
15 "maxKeys": 10,
16 "pageReverse":true,
17 "filter":{
18 "dataFormatList": ["PromptResponse", "PromptImage"]
19 }
20 }
21 });
22
23 console.log(res);
24}
25
26main();
返回示例
1{
2 "requestId": "b4f5f3f2-307e-41d6-5afc-a6708cfa286b",
3 "result": {
4 "pageInfo": {
5 "marker": "",
6 "maxKeys": 2,
7 "isTruncated": False,
8 "nextMarker": "dg-xxx", // 下次查询请求的marker参数
9 "pageReverse": False
10 },
11 "datasets": [
12 {
13 "datasetId": "dg-xxx",
14 "datasetName": "helloDatasetList1",
15 "dataFormat": "PromptResponse"
16 },
17 {
18 "datasetId": "dg-xxx",
19 "datasetName": "helloDatasetList2",
20 "dataFormat": "PromptImage"
21 }
22 ]
23 }
24}
1{
2 "requestId": "b4f5f3f2-307e-41d6-5afc-a6708cfa286b",
3 "result": {
4 "pageInfo": {
5 "marker": "",
6 "maxKeys": 2,
7 "isTruncated": false,
8 "nextMarker": "dg-xxx", // 下次查询请求的marker参数
9 "pageReverse": false
10 },
11 "datasets": [
12 {
13 "datasetId": "dg-xxx",
14 "datasetName": "helloDatasetList1",
15 "dataFormat": "PromptResponse"
16 },
17 {
18 "datasetId": "dg-xxx",
19 "datasetName": "helloDatasetList2",
20 "dataFormat": "PromptImage"
21 }
22 ]
23 }
24}
1{
2 "requestId": "b4f5f3f2-307e-41d6-5afc-a6708cfa286b",
3 "result": {
4 "pageInfo": {
5 "marker": "",
6 "maxKeys": 2,
7 "isTruncated": false,
8 "nextMarker": "dg-xxx", // 下次查询请求的marker参数
9 "pageReverse": false
10 },
11 "datasets": [
12 {
13 "datasetId": "dg-xxx",
14 "datasetName": "helloDatasetList1",
15 "dataFormat": "PromptResponse"
16 },
17 {
18 "datasetId": "dg-xxx",
19 "datasetName": "helloDatasetList2",
20 "dataFormat": "PromptImage"
21 }
22 ]
23 }
24}
1{
2 requestId: 'b4f5f3f2-307e-41d6-5afc-a6708cfa286b',
3 result: {
4 pageInfo: {
5 marker: '',
6 maxKeys: 2,
7 isTruncated: false,
8 nextMarker: 'dg-xxx', // 下次查询请求的marker参数
9 pageReverse: false
10 },
11 datasets: [
12 {
13 datasetId: 'dg-xxx',
14 datasetName: 'helloDatasetList1',
15 dataFormat: 'PromptResponse'
16 },
17 {
18 datasetId: 'dg-xxx',
19 datasetName: 'helloDatasetList2',
20 dataFormat: 'PromptImage'
21 }
22 ]
23 }
24}
请求参数
名称 | 类型 | 必填 | 描述 |
---|---|---|---|
marker | string | 否 | 本次查询的起始位置,第一条查询该字段设为空 |
maxKeys | int | 否 | 请求列表长度,最大为100,默认值是10,如果指定的值大于100,按100操作 |
pageReverse | bool | 否 | 是否倒序,默认否,即按照版本创建时间顺序排列 |
filter | map | 否 | 筛选条件,此处支持对于数据格式进行筛选,对应Key为dataFormatList示例:{"dataFormatList": ["PromptResponse", "PromptImage"]} |
filter.datasetName | string | 否 | 根据数据集名称进行模糊匹配 |
filter.dataFormatList | List<string> | 否 | 根据数据集数据格式进行筛选,可选值如下: · PromptResponse:表示Prompt+Response · Role:表示Role(user+assistant) · SFT_FIM:表示Prefix+Suffix+Middle数据格式 · Text:表示纯文本 · DPO_PromptChosenRejected:表示DPO数据格式 · KTO_PromptChosenRejected:表示KTO数据格式 · PromptSortedresponses:表示Prompt+多Response排序 · Prompt:表示Prompt集 · PromptImage:表示Prompt+图片 · PromptImageResponse:表示Prompt+Image+Response |
返回参数
名称 | 类型 | 描述 |
---|---|---|
requestId | string | 请求ID |
result | object | 请求结果,请求成功时返回 |
code | string | 错误码,错误时返回 |
message | string | 错误信息,请求失败时返回 |
result说明
名称 | 类型 | 说明 |
---|---|---|
pageInfo | object | 分页信息 |
datasets | List<object> | 数据集列表 |
pageInfo说明
名称 | 类型 | 说明 |
---|---|---|
marker | string | 本次查询的起始位置第一次为空 |
maxKeys | int | 请求返回的数量 |
isTruncated | bool | 指明是否只返回了部分数据,说明: · false:表示本次已经返回所有结果, · true:表示本次还没有返回所有结果 |
nextMarker | string | 当isTruncated为true时,才返回此项,作为下次查询marker的值 |
pageReverse | bool | 是否倒序,默认否,即按照版本创建时间顺序排列 |
datasets说明
名称 | 类型 | 说明 |
---|---|---|
datasetId | string | 数据集ID |
datasetName | string | 数据集名称 |
dataFormat | string | 数据格式,可选值如下: · PromptResponse:表示Prompt+Response · Role:表示Role(user+assistant) · SFT_FIM:表示Prefix+Suffix+Middle数据格式 · Text:表示纯文本 · DPO_PromptChosenRejected:表示DPO数据格式 · KTO_PromptChosenRejected:表示KTO数据格式 · PromptSortedresponses:表示Prompt+多Response排序 · Prompt:表示Prompt集 · PromptImage:表示Prompt+图片 · PromptImageResponse:表示Prompt+Image+Response |