发起数据集导出任务
更新时间:2025-05-12
注意:为提升开发者使用体验,平台升级了数据集管理接口。推荐使用数据集管理V2版本接口,功能更全面、且接口更规范,详见数据集管理API列表;V1版本相关接口不再升级,本文档于2024年8月30日迁移至历史文档;由于V1版本接口后续可能下线停止服务,为避免影响使用,建议接入V2版本接口。
接口描述
该接口用于发起数据集导出任务。
接口调用成功后,可以查看导出状态;导出完成后,可以获取到下载地址等。
权限说明
调用本文API,需符合以下权限要求,权限介绍及分配,请查看角色与权限控制列表、账号创建与权限分配。需具有以下任一权限:
- 完全控制千帆大模型平台的权限:QianfanFullControlAccessPolicy
- 运维操作千帆大模型平台数据管理(除数据标注外)的权限:QianfanDataOperateAccessPolicy
鉴权说明
调用本文API,使用“基于安全认证AK/SK”进行签名计算鉴权,即使用安全认证中的Access Key ID 和 Secret Access Key进行鉴权,具体鉴权认证机制参考HTTP调用鉴权说明。
请求结构
Bash
1POST /wenxinworkshop/dataset/export HTTP/1.1
2Host: qianfan.baidubce.com
3Authorization: authorization string
4Content-Type: application/json
5
6{
7 "datasetId": "ds-7pkzh1exthpuy10n",
8 "exportTo": 0,
9 "exportType": 1,
10 "exportFormat": 0
11}
请求头域
除公共头域外,无其它特殊头域。
请求参数
- Body参数
名称 | 类型 | 必填 | 说明 |
---|---|---|---|
datasetId | string | 是 | 数据集版本ID,说明: (1)可以通过以下任一方式获取该字段值: · 方式一,通过调用创建数据集接口,返回的datasetId字段获取 · 方式二,在控制台-数据集管理列表页面,点击详情,查看版本信息,如下图所示: ![]() (2)该字段新增支持string类型,如果之前使用的是int类型,建议变更为string类型,后续可能将逐步废弃int类型;例如之前是通过调用创建数据集接口,返回的id字段获取,请替换为接口返回的datasetId字段获取 |
exportFormat | int | 是 | 导出格式,固定值为0,表示平台默认格式 |
exportTo | int | 是 | 导出到的存储,可选值如下: · 0:导出到本地 · 1:导出到BOS |
exportType | int | 是 | 导出数据类型,可选值如下: · 1:导出全部数据,包含源文件及已有的标注文件 · 2:仅导出源文件 |
storageId | string | 否 | 导出到对象存储BOS时需要填写导入到的bucket,示例:yourBucketName |
响应头域
除公共头域外,无其它特殊头域。
响应参数
名称 | 类型 | 说明 |
---|---|---|
log_id | string | 操作记录id |
result | bool | 发起数据集导出任务是否成功 |
status | int | 状态码 |
success | bool | 是否操作成功 |
请求示例
- 导出全部数据
导出全部数据,包含源文件及已有的标注文件;可以通过获取数据集导出记录接口,获取数据下载链接。
bash
1# 替换下列示例中的Authorization值、x-bce-date值
2curl -i --location 'https://qianfan.baidubce.com/wenxinworkshop/dataset/export' \
3--header 'Authorization: bce-auth-v1/f0ee7axxxx/2023-09-19T13:42:13Z/180000/host;x-bce-date/9a8cfb8ee58a8f44a21a52640015de61bc55ca2e6d8cc23d080016e374525543' \
4--header 'x-bce-date: 2023-09-19T13:37:10Z' \
5--header 'Content-Type: application/json' \
6--data '{
7 "datasetId": "ds-7pkzh1exthpuy10n",
8 "exportTo": 0,
9 "exportType": 1,
10 "exportFormat": 0
11}'
- 导出全部数据到对象存储BOS
导出到对象存储BOS,导出全部数据,包含源文件及已有的标注文件
bash
1# 替换下列示例中的Authorization值、x-bce-date值
2curl -i --location 'https://qianfan.baidubce.com/wenxinworkshop/dataset/export'\
3--header 'Authorization: bce-auth-v1/f0ee7axxxx/2023-09-19T13:42:13Z/180000/host;x-bce-date/9a8cfb8ee58a8f44axxxx6d8cc23d080016e374525543'\
4--header 'x-bce-date: 2023-09-19T13:37:10Z'\
5--header 'Content-Type: application/json'\
6--data '{
7 "datasetId": "ds-7pkzh1exthpuy10n",
8 "exportTo": 1,
9 "storageId": "yourBucketName",
10 "exportType": 1,
11 "exportFormat": 0
12}'
- 导出源文件到平台存储
导出到平台存储,仅导出源文件,通过获取数据集导出记录接口,获取数据下载链接
bash
1# 替换下列示例中的Authorization值、x-bce-date值
2curl -i --location 'https://qianfan.baidubce.com/wenxinworkshop/dataset/export' \
3--header 'Authorization: bce-auth-v1/f0ee7axxxx/2023-09-19T13:42:13Z/180000/host;x-bce-date/9a8cfb8ee58a8f44a21a52640015de61bc55ca2e6d8cc23d080016e374525543' \
4--header 'x-bce-date: 2023-09-19T13:37:10Z' \
5--header 'Content-Type: application/json' \
6--data '{
7 "datasetId": "ds-7pkzh1exthpuy10n",
8 "exportTo": 0,
9 "exportType": 2,
10 "exportFormat": 0
11}'
响应示例
JSON
1{
2 "log_id": "dhqc1wmm2tyg61m7",
3 "result": true,
4 "status": 200,
5 "success": true
6}
错误码
若请求错误,服务器将返回的JSON文本包含以下参数:
名称 | 描述 |
---|---|
code | 错误码 |
message | 错误描述信息,帮助理解和解决发生的错误 |
例如参数错误返回:
Plain Text
1{
2 "code": 500001,
3 "message": "param invalid"
4}
更多错误码,请查看错误码说明。