发起数据集导出任务

更新时间：2024-11-22

注意：为提升开发者使用体验，平台升级了数据集管理接口。推荐使用数据集管理V2版本接口，功能更全面、且接口更规范，详见数据集管理API列表；V1版本相关接口不再升级，本文档于2024年8月30日迁移至历史文档；由于V1版本接口后续可能下线停止服务，为避免影响使用，建议接入V2版本接口。

功能介绍

该接口用于发起数据集导出任务。

接口调用成功后，可以查看导出状态；导出完成后，可以获取到下载地址等。

权限说明

调用本文API，需符合以下权限要求，权限介绍及分配，请查看角色与权限控制列表、账号创建与权限分配。需具有以下任一权限：

完全控制千帆大模型平台的权限：QianfanFullControlAccessPolicy
运维操作千帆大模型平台数据管理（除数据标注外）的权限：QianfanDataOperateAccessPolicy

HTTP调用

鉴权说明

调用本文API，使用“基于安全认证AK/SK”进行签名计算鉴权，即使用安全认证中的Access Key ID 和 Secret Access Key进行鉴权，具体鉴权认证机制参考HTTP调用鉴权说明。

请求说明

基本信息

请求地址： https://qianfan.baidubce.com/wenxinworkshop/dataset/export

请求方式： POST

Header参数

名称	类型	必填	描述
Content-Type	String	是	HTTP请求内容的类型，固定值：application/json
x-bce-date	String	否	当前时间，遵循ISO8601规范，格式如`2016-04-06T08:23:49Z`
Authorization	String	是	用于验证请求合法性的认证信息。更多参见鉴权认证，签名工具可参考IAM签名工具

Body参数

名称	类型	必填	说明
datasetId	string	是	数据集版本ID，说明：（1）可以通过以下任一方式获取该字段值： · 方式一，通过调用创建数据集接口，返回的datasetId字段获取 · 方式二，在控制台-数据集管理列表页面，点击详情，查看版本信息，如下图所示：（2）该字段新增支持string类型，如果之前使用的是int类型，建议变更为string类型，后续可能将逐步废弃int类型；例如之前是通过调用创建数据集接口，返回的id字段获取，请替换为接口返回的datasetId字段获取
exportFormat	int	是	导出格式，固定值为0，表示平台默认格式
exportTo	int	是	导出到的存储，可选值如下： · 0：导出到本地 · 1：导出到BOS
exportType	int	是	导出数据类型，可选值如下： · 1：导出全部数据，包含源文件及已有的标注文件 · 2：仅导出源文件
storageId	string	否	导出到对象存储BOS时需要填写导入到的bucket，示例：yourBucketName

响应说明

名称	类型	说明
log_id	string	操作记录id
result	bool	发起数据集导出任务是否成功
status	int	状态码
success	bool	是否操作成功

请求示例

示例1:导出全部数据

导出全部数据，包含源文件及已有的标注文件；可以通过获取数据集导出记录接口，获取数据下载链接。

bash

# 替换下列示例中的Authorization值、x-bce-date值
curl -i --location 'https://qianfan.baidubce.com/wenxinworkshop/dataset/export' \
--header 'Authorization: bce-auth-v1/f0ee7axxxx/2023-09-19T13:42:13Z/180000/host;x-bce-date/9a8cfb8ee58a8f44a21a52640015de61bc55ca2e6d8cc23d080016e374525543' \ 
--header 'x-bce-date: 2023-09-19T13:37:10Z' \
--header 'Content-Type: application/json' \ 
--data '{
    "datasetId": "ds-7pkzh1exthpuy10n",
    "exportTo": 0,
    "exportType": 1,
    "exportFormat": 0
}'

示例2:导出全部数据到对象存储BOS

导出到对象存储BOS，导出全部数据，包含源文件及已有的标注文件

bash

# 替换下列示例中的Authorization值、x-bce-date值
curl -i --location 'https://qianfan.baidubce.com/wenxinworkshop/dataset/export'\
--header 'Authorization: bce-auth-v1/f0ee7axxxx/2023-09-19T13:42:13Z/180000/host;x-bce-date/9a8cfb8ee58a8f44axxxx6d8cc23d080016e374525543'\ 
--header 'x-bce-date: 2023-09-19T13:37:10Z'\
--header 'Content-Type: application/json'\ 
--data '{
    "datasetId": "ds-7pkzh1exthpuy10n",
    "exportTo": 1,
    "storageId": "yourBucketName",
    "exportType": 1,
    "exportFormat": 0
}'

示例3:导出源文件到平台存储

导出到平台存储，仅导出源文件，通过获取数据集导出记录接口，获取数据下载链接

bash

# 替换下列示例中的Authorization值、x-bce-date值
curl -i --location 'https://qianfan.baidubce.com/wenxinworkshop/dataset/export' \
--header 'Authorization: bce-auth-v1/f0ee7axxxx/2023-09-19T13:42:13Z/180000/host;x-bce-date/9a8cfb8ee58a8f44a21a52640015de61bc55ca2e6d8cc23d080016e374525543' \ 
--header 'x-bce-date: 2023-09-19T13:37:10Z' \
--header 'Content-Type: application/json' \ 
--data '{
    "datasetId": "ds-7pkzh1exthpuy10n",
    "exportTo": 0,
    "exportType": 2,
    "exportFormat": 0
}'

响应示例

JSON

{
	"log_id": "dhqc1wmm2tyg61m7",
	"result": true,
	"status": 200,
	"success": true
}

SDK调用

平台支持通过Python SDK、Go SDK、Java SDK 和 Node.js SDK调用本文API，SDK调用说明文档请参考发起数据集导出任务。

错误码

若请求错误，服务器将返回的JSON文本包含以下参数：

名称	描述
code	错误码
message	错误描述信息，帮助理解和解决发生的错误

例如参数错误返回：

{
  "code": 500001,
  "message": "param invalid"
}

更多错误码，请查看错误码说明。

获取数据集状态详情

删除数据集

千帆大模型服务与开发平台ModelBuilder