发起数据集版本导出任务
更新时间:2024-09-09
功能介绍
本接口用于对特定数据集版本发起数据导出任务。
SDK调用
使用说明
本文API支持通过千帆Python SDK、Go SDK、Java SDK 和 Node.js SDK调用,调用流程请参考SDK安装及使用流程。
调用示例
import json
import os
from qianfan.resources.console.data import Data
from qianfan.resources.console.consts import V2
# 使用安全认证AK/SK鉴权,通过环境变量方式初始化;替换下列示例中参数,安全认证Access Key替换your_iam_ak,Secret Key替换your_iam_sk
os.environ["QIANFAN_ACCESS_KEY"] = "your_iam_ak"
os.environ["QIANFAN_SECRET_KEY"] = "your_iam_sk"
resp = Data.V2.create_dataset_version_export_task("ds-xxx",V2.StorageType.SysStorage)
print(json.dumps(resp.body))
package main
import (
"context"
"fmt"
"os"
"github.com/baidubce/bce-qianfan-sdk/go/qianfan"
)
func main() {
// 使用安全认证AK/SK鉴权,通过环境变量初始化;替换下列示例中参数,安全认证Access Key替换your_iam_ak,Secret Key替换your_iam_sk
os.Setenv("QIANFAN_ACCESS_KEY", "your_iam_ak")
os.Setenv("QIANFAN_SECRET_KEY", "your_iam_sk")
ca := qianfan.NewConsoleAction()
res, err := ca.Call(context.TODO(), "/v2/dataset", "CreateExportTask", map[string]interface{}{
"versionId": "ds-xxx",
"storageType": "sysStorage",
})
if err != nil {
panic(err)
}
fmt.Println(string(res.Body))
}
import com.baidubce.qianfan.Qianfan;
import com.baidubce.qianfan.model.console.ConsoleResponse;
import com.baidubce.qianfan.util.CollUtils;
import com.baidubce.qianfan.util.Json;
import java.util.Map;
public class Dome {
public static void main(String args[]){
// 使用安全认证AK/SK鉴权,替换下列示例中参数,安全认证Access Key替换your_iam_ak,Secret Key替换your_iam_sk
Qianfan qianfan = new Qianfan("your_iam_ak", "your_iam_sk");
ConsoleResponse<Map<String, Object>> response = qianfan.console()
// 调用本文API,该参数值为固定值,无需修改;对应本文HTTP调用-请求说明-请求地址的后缀
.route("/v2/dataset")
// 调用本文API,该参数值为固定值,无需修改;对应本文HTTP调用-请求说明-请求参数-Query参数的Action
.action("CreateExportTask")
// 需要传入参数的场景,可以自行封装请求类,或者使用Map.of()来构建请求Body
// Java 8可以使用SDK提供的CollUtils.mapOf()来替代Map.of()
// 对应本文HTTP调用-请求说明-请求参数-Body参数,具体使用请查看Body参数说明,根据实际使用选择参数
.body(CollUtils.mapOf(
"versionId", "ds-xxx",
"storageType", "sysStorage"
))
.execute();
System.out.println(Json.serialize(response));
}
}
import {consoleAction, setEnvVariable} from "@baiducloud/qianfan";
// 使用安全认证AK/SK鉴权,通过环境变量初始化;替换下列示例中参数,安全认证Access Key替换your_iam_ak,Secret Key替换your_iam_sk
setEnvVariable('QIANFAN_ACCESS_KEY','your_iam_ak');
setEnvVariable('QIANFAN_SECRET_KEY','your_iam_sk');
async function main() {
const res = await consoleAction({base_api_route: 'v2/dataset', action: 'CreateExportTask', data: {
"versionId": "ds-xxx",
"storageType": "sysStorage"
}
});
console.log(res);
}
main();
返回示例
{
"requestId": "1bef3f87-c5b2-4419-936b-50f9884f10d4",
"result": "task-xxx"
}
{
"requestId": "1bef3f87-c5b2-4419-936b-50f9884f10d4",
"result": "task-xxx"
}
{
"requestId": "1bef3f87-c5b2-4419-936b-50f9884f10d4",
"result": "task-xxx"
}
{
requestId: '1bef3f87-c5b2-4419-936b-50f9884f10d4',
result: 'task-xxx'
}
请求参数
注意:以下为Python SDK参数说明,Go SDK、Java SDK、Node.js SDK参数说明请参考本文HTTP调用-请求说明。
名称 | 类型 | 必填 | 描述 |
---|---|---|---|
version_id | string | 是 | 数据集版本ID,示例:ds-xxx,可以通过以下任一方式获取该字段值: · 方式一,通过调用创建数据集接口,返回的versionId字段获取 · 方式二,在千帆控制台-数据集管理列表页面查看,如下图所示: |
storage_type | string | 是 | 导出位置的存储类型,可选值如下: · V2.StorageType.BOS:表示对象存储BOS · V2.StorageType.SysStorage:表示平台共享存储 |
storage_path | string | 否 | 说明: (1)存储类型为对象存储BOS时,对应的导出完整路径,示例: bos:/bucketName/some/path/ (2)存储类型为平台共享存储时,不传或者传空字符串 |
返回参数
请参考本文HTTP调用-响应说明。
HTTP调用
鉴权说明
调用本文API,使用“基于安全认证AK/SK”进行签名计算鉴权,即使用安全认证中的Access Key ID 和 Secret Access Key进行鉴权,具体鉴权认证机制参考HTTP调用鉴权说明。
请求说明
- 基本信息
请求地址: https://qianfan.baidubce.com/v2/dataset
请求方式: POST
- Header参数
名称 | 类型 | 必填 | 描述 |
---|---|---|---|
Content-Type | string | 是 | 固定值application/json |
x-bce-date | string | 是 | 当前时间,遵循ISO8601规范,格式如2016-04-06T08:23:49Z |
Authorization | string | 是 | 用于验证请求合法性的认证信息。更多参见鉴权认证,签名工具可参考IAM签名工具 |
- Query参数
名称 | 类型 | 必填 | 描述 |
---|---|---|---|
Action | string | 是 | 方法名称,固定值CreateExportTask |
- Body参数
名称 | 类型 | 必填 | 描述 |
---|---|---|---|
versionId | string | 是 | 数据集版本ID,示例:ds-xxx,可以通过以下任一方式获取该字段值: · 方式一,通过调用创建数据集接口,返回的versionId字段获取 · 方式二,在千帆控制台-数据集管理列表页面查看,如下图所示: |
storageType | string | 是 | 导出位置的存储类型,可选值如下: · BOS:表示对象存储BOS · sysStorage:表示平台共享存储 |
storagePath | string | 否 | 说明: (1)存储类型为对象存储BOS时,对应的导出完整路径,示例: bos:/bucketName/some/path/ (2)存储类型为平台共享存储时,不传或者传空字符串 |
响应说明
名称 | 类型 | 描述 |
---|---|---|
requestId | string | 请求ID |
result | string | 导出任务ID,请求成功时返回 |
code | string | 错误码,请求失败时返回 |
message | string | 错误信息,请求失败时返回 |
请求示例
# 可通过获取导出记录详情接口,获取数据下载链接
# 替换下列示例中的Authorization值、x-bce-date值
curl -i --location 'https://qianfan.baidubce.com/v2/dataset?Action=CreateExportTask'\
--header 'Authorization: bce-auth-v1/f0ee7axxxx/2023-09-19T13:42:13Z/180000/host;x-bce-date/9a8cfb8ee58a8f44a21a5264xxxxxxx374525543'\
--header 'x-bce-date: 2023-09-19T13:37:10Z'\
--header 'Content-Type: application/json'\
--data '{
"versionId": "ds-xxx",
"storageType": "sysStorage"
}'
# 替换下列示例中的Authorization值、x-bce-date值
curl -i --location 'https://qianfan.baidubce.com/v2/dataset?Action=CreateExportTask'\
--header 'Authorization: bce-auth-v1/f0ee7axxxx/2023-09-19T13:42:13Z/180000/host;x-bce-date/9a8cfb8ee58a8fxxxx016e374525543'\
--header 'x-bce-date: 2023-09-19T13:37:10Z'\
--header 'Content-Type: application/json' \
--data-raw '{
"versionId": "ds-xxx",
"storageType": "BOS",
"storagePath": "bos:/yourBucket/yourDir/"
}'
响应示例
{
"requestId": "1bef3f87-c5b2-4419-936b-50f9884f10d4",
"result": "task-xxx"
}
错误码
若请求错误,服务器将返回的JSON文本包含以下参数:
名称 | 描述 |
---|---|
requestId | 请求ID |
code | 错误码 |
message | 错误描述信息,帮助理解和解决发生的错误 |
例如错误返回:
{
"requestId":"6ba7b810-xxxc04fd430c8",
"code":"AccessDenied",
"message":"Access denied."
}
更多千帆大模型平台其他错误码,也可以查看错误码说明。