获取数据集状态详情
更新时间:2024-11-08
注意:为提升开发者使用体验,平台升级了数据集管理接口。推荐使用数据集管理V2版本接口,功能更全面、且接口更规范,详见数据集管理API列表;本文内容不再更新,由于V1版本接口后续可能下线停止服务,为避免影响使用,建议接入V2版本接口。
功能介绍
本接口用于批量查询数据集状态。
注意事项
(1)通过API获取数据集状态详情,和控制台页面展示字段不同:
- 本文API参数有的字段,可能在控制台页面无
- 控制台页面的部分字段,可能在本文API参数中无
- 后续会持续完善API功能,请关注API文档更新
(2)调用本文API,需使用安全认证AK/SK鉴权,调用流程及鉴权介绍详见SDK安装及使用流程。
SDK调用
调用示例
import os
from qianfan import resources
# 使用安全认证AK/SK鉴权,通过环境变量方式初始化;替换下列示例中参数,安全认证Access Key替换your_iam_ak,Secret Key替换your_iam_sk
os.environ["QIANFAN_ACCESS_KEY"] = "your_iam_ak"
os.environ["QIANFAN_SECRET_KEY"] = "your_iam_sk"
resp = resources.Data.get_dataset_status_in_batch(["ds-7pkzh1exthpuy10n"])
print(resp)
返回示例
QfResponse(code = 200, headers = {...
},
body = {
'log_id': '5jscnk6x8magj50t',
'result': {
'32518': {
'importStatus': 2,
'importProgress': 100,
'releaseStatus': 0,
'releaseProgress': 0,
'exportStatus': 255,
'exportProgress': 0,
'enhanceStatus': -1,
'etlStatus': 0,
'importErrorInfo': None,
'entityCount': 35,
'annotatedEntityCount': 35,
'labelCount': 1,
'qcLabelErrStatus': False,
'characterCount': 43766,
'modifyTime': '2023-11-09 16:45:10'
}
},
'status': 200,
'success': True
})
请求参数
名称 | 类型 | 必填 | 描述 |
---|---|---|---|
dataset_id_list | List[string] | 是 | 数据集版本ID列表,示例:["ds-xxx","ds-yyy"],说明: (1)可以通过以下任一方式获取数据集版本ID值: · 方式一,通过调用创建数据集接口,返回的datasetId字段获取 · 方式二,在控制台-数据集管理列表页面,点击详情,在版本信息页查看,如下图所示: (2)数据集版本ID新增支持string类型,如果之前使用的是int类型,建议变更为string类型,后续可能将逐步废弃int类型;例如之前是通过调用创建数据集接口,返回的id字段获取,请替换为接口返回的datasetId字段获取 |
返回参数
说明:返回的部分字段如下,未说明的字段暂无需关注。
名称 | 类型 | 描述 |
---|---|---|
success | bool | 是否操作成功 |
status | int | 状态码 |
log_id | string | 操作记录Id |
result | dict | 数据集状态详情 |
result说明
result为dict类型,key为数据集ID,value为一个DatasetStatusInfo
DatasetStatusInfo
名称 | 类型 | 说明 |
---|---|---|
importStatus | int | 数据集导入状态,说明: · -1:未发起导入 · 0:新建 · 1:导入中 · 2:导入完成 · 3:导入失败 · 4:导入中止 |
importProgress | int | 导入进度百分比,说明: · 只有当导入状态为 运行中 或 已完成 时,返回的值才有意义。 · 值范围是0-100,例如返回90表示导入进度为90% |
releaseStatus | int | 发布状态,说明: · 0:未发布 · 1:发布中 · 2:已发布 · 3:发布失败 |
releaseProgress | int | 发布进度,说明:值范围是0-100,例如返回90表示进度为90% |
exportStatus | int | 导出状态,说明: · -1:未发起导出 · 0:待导出 · 1:导出中 · 2:导出完成 · 3:导出失败 |
exportProgress | int | 导出进度,说明:值范围是0-100,例如返回90表示进度为90% |
enhanceStatus | int | 增强状态,说明: · -1:无状态,表示没有任务 · 0:准备中 · 1:进行中 · 2:已完成 · 3:已终止 · 4:任务异常 |
etlStatus | int | 清洗状态,说明: · 0:无状态,表示没有任务 · 1:进行中 · 2:已完成 · 3:已终止 · 4:清洗失败 · 5:任务暂停 |
importErrorInfo | list[dict] | 导入错误信息,示例:[{errCode: 2, errCount: 15}],说明: · 1:上传的文件大小超过限制 · 2:上传的数据集缺少JSON文件 · 3:上传的文件存在格式错误 · 4:您的账户数据集额度已超限 · 5:上传的样本中存在不合法标签 · 6:上传的样本中存在不合法字符 · 7:上传的样本中存在标签数与文本token数不匹配 · 8:上传的样本标签未在label_map中找到 · 9:文本内容格式与要求不匹配,请重新上传 · 10:上传的压缩包解压失败 · 11:上传的数据集缺少xml文件 · 12:上传的已标注文本缺少标注内容 · 13:上传的文本内容为空或存在空行 · 14:上传的文本编码格式仅支持UTF-8,请重新上传 · 15:上传内容中没有可标注的源文件,请重新上传 · 16 :上传的文件内容不符合要求 · 17:当前数据集标签额度已超限 · 18:上传的视频或音频时长超过限制 · 19:分享的压缩包链接无效 · 20:视频转码失败 · 21:文本区间坐标不合法 · 22:order不合法 · 23:传入文件大小为0 · 24:上传的数据集缺少ocr txt标注 · 25:上传的数据集缺少标注文件 · 26:当前数据集的样本数量超过上限 · 27:上传的分辨率不符合要求 · 50:导入数据失败,数据文件列数不能超过1000列 · 51:导入数据失败,数据集总行数不能超过1000万行 · 52:导入数据失败,数据文件大小超过限制 · 53:导入数据失败,请确保文件编码格式为UTF-8或GBK · 54:导入数据失败,新导入文件与数据集schema不一致 · 55:文档解析失败 · 100:网络异常或服务异常 · 300:BOS没有找到文件 |
entityCount | int | 样本数量,导入过程中准实时更新 |
annotatedEntityCount | int | 已标注的样本数 |
labelCount | int | 标签数量 |
characterCount | int | 字符数 |
modifyTime | string | 修改时间 |