获取数据集列表
更新时间:2024-11-11
功能介绍
本接口用于获取符合特定查询条件的数据集列表。
使用说明
本文API支持通过Python SDK、Go SDK、Java SDK 和 Node.js SDK调用,调用流程请参考SDK安装及使用流程。
SDK调用
调用示例
import json
import os
from qianfan.resources.console.data import Data
# 使用安全认证AK/SK鉴权,通过环境变量方式初始化;替换下列示例中参数,安全认证Access Key替换your_iam_ak,Secret Key替换your_iam_sk
os.environ["QIANFAN_ACCESS_KEY"] = "your_iam_ak"
os.environ["QIANFAN_SECRET_KEY"] = "your_iam_sk"
resp = Data.V2.get_dataset_list()
print(json.dumps(resp.body))
package main
import (
"context"
"fmt"
"os"
"github.com/baidubce/bce-qianfan-sdk/go/qianfan"
)
func main() {
// 使用安全认证AK/SK鉴权,通过环境变量初始化;替换下列示例中参数,安全认证Access Key替换your_iam_ak,Secret Key替换your_iam_sk
os.Setenv("QIANFAN_ACCESS_KEY", "your_iam_ak")
os.Setenv("QIANFAN_SECRET_KEY", "your_iam_sk")
ca := qianfan.NewConsoleAction()
res, err := ca.Call(context.TODO(),
// 调用本文API,该参数值为固定值,无需修改;对应本文HTTP调用-请求说明-请求地址的后缀
"/v2/dataset",
// 调用本文API,该参数值为固定值,无需修改;对应本文HTTP调用-请求说明-请求参数-Query参数的Action
"DescribeDatasets",
// 对应本文HTTP调用-请求说明-请求参数-Body参数,具体使用请查看Body参数说明,根据实际使用选择参数
map[string]interface{}{
"marker": "",
"maxKeys": 10,
"pageReverse":true,
"filter":map[string]any{
"dataFormatList": []string{"PromptResponse", "PromptImage"},
}
})
if err != nil {
panic(err)
}
fmt.Println(string(res.Body))
}
import com.baidubce.qianfan.Qianfan;
import com.baidubce.qianfan.model.console.ConsoleResponse;
import com.baidubce.qianfan.util.CollUtils;
import com.baidubce.qianfan.util.Json;
import java.util.Map;
public class Dome {
public static void main(String args[]){
// 使用安全认证AK/SK鉴权,替换下列示例中参数,安全认证Access Key替换your_iam_ak,Secret Key替换your_iam_sk
Qianfan qianfan = new Qianfan("your_iam_ak", "your_iam_sk");
ConsoleResponse<Map<String, Object>> response = qianfan.console()
// 调用本文API,该参数值为固定值,无需修改;对应本文HTTP调用-请求说明-请求地址的后缀
.route("/v2/dataset")
// 调用本文API,该参数值为固定值,无需修改;对应本文HTTP调用-请求说明-请求参数-Query参数的Action
.action("DescribeDatasets")
// 需要传入参数的场景,可以自行封装请求类,或者使用Map.of()来构建请求Body
// Java 8可以使用SDK提供的CollUtils.mapOf()来替代Map.of()
// 对应本文HTTP调用-请求说明-请求参数-Body参数,具体使用请查看Body参数说明,根据实际使用选择参数
.body(CollUtils.mapOf(
"marker", "",
"maxKeys", 10,
"pageReverse",true,
"filter",CollUtils.mapOf(
"dataFormatList",new String[]{"PromptResponse", "PromptImage"}
)
))
.execute();
System.out.println(Json.serialize(response));
}
}
import {consoleAction, setEnvVariable} from "@baiducloud/qianfan";
// 使用安全认证AK/SK鉴权,通过环境变量初始化;替换下列示例中参数,安全认证Access Key替换your_iam_ak,Secret Key替换your_iam_sk
setEnvVariable('QIANFAN_ACCESS_KEY','your_iam_ak');
setEnvVariable('QIANFAN_SECRET_KEY','your_iam_sk');
async function main() {
//base_api_route:调用本文API,该参数值为固定值,无需修改;对应本文HTTP调用-请求说明-请求地址的后缀
//action:调用本文API,该参数值为固定值,无需修改;对应本文HTTP调用-请求说明-请求参数-Query参数的Action
//data:对应本文HTTP调用-请求说明-请求参数-Body参数,具体使用请查看Body参数说明,根据实际使用选择参数
const res = await consoleAction({base_api_route: '/v2/dataset', action: 'DescribeDatasets', data: {
"marker": "",
"maxKeys": 10,
"pageReverse":true,
"filter":{
"dataFormatList": ["PromptResponse", "PromptImage"]
}
}
});
console.log(res);
}
main();
返回示例
{
"requestId": "b4f5f3f2-307e-41d6-5afc-a6708cfa286b",
"result": {
"pageInfo": {
"marker": "",
"maxKeys": 2,
"isTruncated": False,
"nextMarker": "dg-xxx", // 下次查询请求的marker参数
"pageReverse": False
},
"datasets": [
{
"datasetId": "dg-xxx",
"datasetName": "helloDatasetList1",
"dataFormat": "PromptResponse"
},
{
"datasetId": "dg-xxx",
"datasetName": "helloDatasetList2",
"dataFormat": "PromptImage"
}
]
}
}
{
"requestId": "b4f5f3f2-307e-41d6-5afc-a6708cfa286b",
"result": {
"pageInfo": {
"marker": "",
"maxKeys": 2,
"isTruncated": false,
"nextMarker": "dg-xxx", // 下次查询请求的marker参数
"pageReverse": false
},
"datasets": [
{
"datasetId": "dg-xxx",
"datasetName": "helloDatasetList1",
"dataFormat": "PromptResponse"
},
{
"datasetId": "dg-xxx",
"datasetName": "helloDatasetList2",
"dataFormat": "PromptImage"
}
]
}
}
{
"requestId": "b4f5f3f2-307e-41d6-5afc-a6708cfa286b",
"result": {
"pageInfo": {
"marker": "",
"maxKeys": 2,
"isTruncated": false,
"nextMarker": "dg-xxx", // 下次查询请求的marker参数
"pageReverse": false
},
"datasets": [
{
"datasetId": "dg-xxx",
"datasetName": "helloDatasetList1",
"dataFormat": "PromptResponse"
},
{
"datasetId": "dg-xxx",
"datasetName": "helloDatasetList2",
"dataFormat": "PromptImage"
}
]
}
}
{
requestId: 'b4f5f3f2-307e-41d6-5afc-a6708cfa286b',
result: {
pageInfo: {
marker: '',
maxKeys: 2,
isTruncated: false,
nextMarker: 'dg-xxx', // 下次查询请求的marker参数
pageReverse: false
},
datasets: [
{
datasetId: 'dg-xxx',
datasetName: 'helloDatasetList1',
dataFormat: 'PromptResponse'
},
{
datasetId: 'dg-xxx',
datasetName: 'helloDatasetList2',
dataFormat: 'PromptImage'
}
]
}
}
请求参数
注意:不同语言SDK的请求参数不同,请根据实际调用选择对应参数。
- Python SDK请求参数说明
名称 | 类型 | 必填 | 描述 |
---|---|---|---|
marker | string | 否 | 本次查询的起始位置,第一条查询该字段设为空 |
max_keys | int | 否 | 请求列表长度,最大为100,默认值是10,如果指定的值大于100,按100操作 |
page_reverse | bool | 否 | 是否倒序,默认否,即按照版本创建时间顺序排列 |
filter | map | 否 | 筛选条件,此处支持对于数据格式进行筛选,对应Key为dataFormatList示例:{"dataFormatList": ["PromptResponse", "PromptImage"]} |
filter.dataFormatList | List |
否 | 根据数据集数据格式进行筛选,可选值如下: · PromptResponse:表示Prompt+Response · Role:表示Role(user+assistant) · Text:表示纯文本 · DPO_PromptChosenRejected:表示DPO或SimPO数据格式 · KTO_PromptChosenRejected:表示KTO数据格式 · PromptSortedresponses:表示Prompt+多Response排序 · Prompt:表示Prompt集 · PromptImage:表示Prompt+图片 · PromptImageResponse:表示Prompt+Image+Response |
- 其它SDK请求参数说明
名称 | 类型 | 必填 | 描述 |
---|---|---|---|
marker | string | 否 | 本次查询的起始位置,第一条查询该字段设为空 |
maxKeys | int | 否 | 请求列表长度,最大为100,默认值是10,如果指定的值大于100,按100操作 |
pageReverse | bool | 否 | 是否倒序,默认否,即按照版本创建时间顺序排列 |
filter | map | 否 | 筛选条件,此处支持对于数据格式进行筛选,对应Key为dataFormatList示例:{"dataFormatList": ["PromptResponse", "PromptImage"]} |
filter.dataFormatList | List |
否 | 根据数据集数据格式进行筛选,可选值如下: · PromptResponse:表示Prompt+Response · Role:表示Role(user+assistant) · Text:表示纯文本 · DPO_PromptChosenRejected:表示DPO或SimPO数据格式 · KTO_PromptChosenRejected:表示KTO数据格式 · PromptSortedresponses:表示Prompt+多Response排序 · Prompt:表示Prompt集 · PromptImage:表示Prompt+图片 · PromptImageResponse:表示Prompt+Image+Response |
返回参数
名称 | 类型 | 描述 |
---|---|---|
requestId | string | 请求ID |
result | object | 请求结果,请求成功时返回 |
code | string | 错误码,错误时返回 |
message | string | 错误信息,请求失败时返回 |
result说明
名称 | 类型 | 说明 |
---|---|---|
pageInfo | object | 分页信息 |
datasets | List<dataset> | 数据集列表 |
pageInfo说明
名称 | 类型 | 说明 |
---|---|---|
marker | string | 本次查询的起始位置第一次为空 |
maxKeys | int | 请求返回的数量 |
isTruncated | bool | 指明是否只返回了部分数据,说明: · false:表示本次已经返回所有结果, · true:表示本次还没有返回所有结果 |
nextMarker | string | 当isTruncated为true时,才返回此项,作为下次查询marker的值 |
pageReverse | bool | 是否倒序,默认否,即按照版本创建时间顺序排列 |
dataset说明
名称 | 类型 | 说明 |
---|---|---|
datasetId | string | 数据集ID |
datasetName | string | 数据集名称 |
dataFormat | string | 数据格式,可选值如下: · PromptResponse:表示Prompt+Response · Role:表示Role(user+assistant) · Text:表示纯文本 · DPO_PromptChosenRejected:表示DPO或SimPO数据格式 · KTO_PromptChosenRejected:表示KTO数据格式 · PromptSortedresponses:表示Prompt+多Response排序 · Prompt:表示Prompt集 · PromptImage:表示Prompt+图片 · PromptImageResponse:表示Prompt+Image+Response |