获取数据集导出记录
更新时间:2024-08-30
注意:为提升开发者使用体验,千帆平台升级了数据集管理接口。推荐使用数据集管理V2版本接口,功能更全面、且接口更规范,详见数据集管理API列表;V1版本相关接口不再升级,本文档于2024年8月30日迁移至历史文档;由于V1版本接口后续可能下线停止服务,为避免影响使用,建议接入V2版本接口。
功能介绍
用于获取某个数据集发起的导出记录。
SDK调用
使用说明
调用本文API,需使用安全认证AK/SK鉴权,调用流程及鉴权介绍详见SDK安装及使用流程。
调用示例
import os
from qianfan import resources
# 使用安全认证AK/SK鉴权,通过环境变量方式初始化;替换下列示例中参数,安全认证Access Key替换your_iam_ak,Secret Key替换your_iam_sk
os.environ["QIANFAN_ACCESS_KEY"] = "your_iam_ak"
os.environ["QIANFAN_SECRET_KEY"] = "your_iam_sk"
# 导出记录查询
resp = resources.Data.get_dataset_export_records("ds-7pkzh1exthpuy10n")
print(resp)
返回示例
QfResponse(code = 200, headers = {...
},
body = {
'log_id': 'w5wti9jphq6bdj75',
'result': [{
'id': 9772,
'creatorName': 'username',
'storageId': 'bucketname',
'storagePath': 'bos:/bucketname/xxxx.zip',
'size': 0.05,
'exportFormat': 0,
'exportType': 1,
'status': 2,
'recordNum': 35,
'exportTo': 1,
'downloadUrl': 'https://bj.bcebos.com/xxx/bbbb.zip?authorization=bce-auth-xxxx',
'startTime': '2023-11-08 22:11:26',
'finishTime': '2023-11-08 22:12:05'
}],
'status': 200,
'success': True
}
)
请求参数
名称 | 类型 | 必填 | 描述 |
---|---|---|---|
dataset_id | string | 是 | 查询的数据集版本ID,示例:ds-7pkzh1exthpuy10n,说明: (1)可以通过以下任一方式获取该字段值: · 方式一,通过调用创建数据集接口,返回的datasetId字段获取 · 方式二,在千帆控制台-数据集管理列表页面,点击详情,在版本信息页查看,如下图所示: (2) 该字段新增支持string类型,如果之前使用的是int类型,建议变更为string类型,后续可能将逐步废弃int类型;例如之前是通过调用创建数据集接口,返回的id字段获取,请替换为接口返回的datasetId字段获取 |
返回参数
说明:返回的部分字段如下,未说明的字段暂无需关注。
名称 | 类型 | 描述 |
---|---|---|
log_id | string | 操作记录id |
status | int | 状态码 |
success | bool | 是否操作成功 |
result | list[dict] | 导出记录列表,可能有多次导出 |
result说明
名称 | 类型 | 描述 |
---|---|---|
creatorName | string | 执行本次导出的用户的名称 |
dataType | int | 数据类型 |
storageId | string | 导出到的存储卷 |
storagePath | string | 导出到的路径 |
size | int | 数据集大小,单位为MB |
exportFormat | int | 导出格式,说明: · 0:平台默认格式 |
exportType | int | 导出类型,说明: · 1:导出全部数据,包含源文件及已有的标注文件 · 2:仅导出源文件 |
status | int | 导出状态,说明: · -1:未发起导出 · 0:待导出 · 1:导出中 · 2:导出完成 · 3:导出失败 |
recordNum | int | 数据集中的数据量 |
exportTo | int | 导出到的存储,说明: · 0:导出到本地 · 1:导出到BOS |
downloadUrl | string | 下载地址 |
startTime | string | 导出开始时间 |
finishTime | string | 导出终止时间 |
HTTP调用
鉴权说明
调用本文API,使用“基于安全认证AK/SK”进行签名计算鉴权,即使用安全认证中的Access Key ID 和 Secret Access Key进行鉴权,具体鉴权认证机制参考HTTP调用鉴权说明。
请求说明
- 基本信息
请求地址: https://qianfan.baidubce.com/wenxinworkshop/dataset/exportRecord
请求方式: POST
- Header参数
名称 | 类型 | 必填 | 描述 |
---|---|---|---|
Content-Type | String | 是 | HTTP请求内容的类型,固定值:application/json |
x-bce-date | String | 否 | 当前时间,遵循ISO8601规范,格式如2016-04-06T08:23:49Z |
Authorization | String | 是 | 用于验证请求合法性的认证信息。更多参见鉴权认证,签名工具可参考IAM签名工具 |
- Body参数
名称 | 类型 | 必填 | 描述 |
---|---|---|---|
datasetId | string | 是 | 查询的数据集版本ID,示例:ds-7pkzh1exthpuy10n,说明: (1)可以通过以下任一方式获取该字段值: · 方式一,通过调用创建数据集接口,返回的datasetId字段获取 · 方式二,在千帆控制台-数据集管理列表页面,点击详情,在版本信息页查看,如下图所示: (2) 该字段新增支持string类型,如果之前使用的是int类型,建议变更为string类型,后续可能将逐步废弃int类型;例如之前是通过调用创建数据集接口,返回的id字段获取,请替换为接口返回的datasetId字段获取 |
响应说明
说明:返回的部分字段如下,未说明的字段暂无需关注。
名称 | 类型 | 描述 |
---|---|---|
log_id | string | 操作记录id |
status | int | 状态码 |
success | bool | 是否操作成功 |
result | object[] | 导出记录数组,可能有多次导出 |
result说明
名称 | 类型 | 描述 |
---|---|---|
creatorName | string | 执行本次导出的用户的名称 |
storageId | string | 导出到的存储卷 |
storagePath | string | 导出到的路径 |
size | int | 数据集大小,单位为MB |
exportFormat | int | 导出格式,说明: · 0:平台默认格式 |
exportType | int | 导出类型,说明: · 1:导出全部数据,包含源文件及已有的标注文件 · 2:仅导出源文件 |
status | int | 导出状态,说明: · -1:未发起导出 · 0:待导出 · 1:导出中 · 2:导出完成 · 3:导出失败 |
recordNum | int | 数据集中的数据量 |
exportTo | int | 导出到的存储,说明: · 0:导出到本地 · 1:导出到BOS |
downloadUrl | string | 下载地址 |
startTime | string | 导出开始时间 |
finishTime | string | 导出终止时间 |
请求示例
# 替换下列示例中的Authorization值、x-bce-date值
curl -i --location 'https://qianfan.baidubce.com/wenxinworkshop/dataset/exportRecord' \
--header 'Authorization: bce-auth-v1/f0ee7axxxx/2023-09-19T13:42:13Z/180000/host;x-bce-date/9a8cfb8ee58a8f44a21a52640015de61bc55ca2e6d8cc23d080016e374525543' \
--header 'x-bce-date: 2023-09-19T13:37:10Z' \
--header 'Content-Type: application/json' \
--data '{
"datasetId": "ds-7pkzh1exthpuy10n"
}'
响应示例
{
"log_id": "59sjmnq2xzda5spn",
"result": [
{
"creatorName": "yyw02",
"storageId": "easydata-upload",
"storagePath": "bos:/easydata-upload/export_local/22V1_20231107_100443.zip",
"size": 0.01,
"exportFormat": 0,
"exportType": 1,
"status": 2,
"recordNum": 9,
"exportTo": 0,
"downloadUrl": "https://bj.bcebos.com/easydata-upload/export_local/22V1_20231107_100443.zip?authorization=bce-auth-v1%2F50c8bb753dcb4e1d8646bb1ffefd3503%2F2023-11-07T02%3A11%3A25Z%2F3600%2Fhost%2F197d9d139c6c03400034db732aacabe4c77d781526505a3ece95a5ead94c8de8",
"startTime": "2023-11-07 10:04:44",
"finishTime": "2023-11-07 10:04:53"
}
],
"status": 200,
"success": true
}
错误码
若请求错误,服务器将返回的JSON文本包含以下参数:
名称 | 描述 |
---|---|
code | 错误码 |
message | 错误描述信息,帮助理解和解决发生的错误 |
例如参数错误返回:
{
"code": 500001,
"message": "param invalid"
}
更多千帆大模型平台错误码,请查看错误码说明。