查看清洗任务列表
更新时间:2024-02-26
功能介绍
用于查看清洗任务列表。
注意事项
调用本文API,需使用安全认证AK/SK鉴权,调用流程及鉴权介绍详见SDK安装及使用流程。
调用示例
import os
from qianfan.resources import Data
# 使用安全认证AK/SK鉴权,通过环境变量方式初始化;替换下列示例中参数,安全认证Access Key替换your_iam_ak,Secret Key替换your_iam_sk
os.environ["QIANFAN_ACCESS_KEY"] = "your_iam_ak"
os.environ["QIANFAN_SECRET_KEY"] = "your_iam_sk"
resp = Data.get_dataset_etl_task_list(
page_size=1,
offset=0,
)
print(resp['result'])
返回示例
QfResponse(
code=200,
headers={...},
body={
"log_id": "yqdumqgdy3n2eqdq",
"result": {
"processingCount": 0,
"items": [
{
"etlId": 2012,
"etlStrId": "task-992515vjv503t94c",
"startTime": "2023-11-24 14:54:13",
"sourceDatasetName": "验证100M数据清洗-V1",
"destDatasetName": "验证100M数据清洗-V2",
"operatorNameList": [],
"sourceDatasetId": 27328,
"sourceDatasetStrId": "ds-xxafmaifn213d",
"destDatasetId": 27332,
"destDatasetStrId": "ds-1j3l12jddok12",
"entityCount": 2,
"entityType": 2,
"result": {
"RET_OK": 0,
"pipeline_stage_result": None,
"export_entity_num": 0,
"remaining_entity": 0,
"unprocessed_entity": 0,
"remove_emoji": {"processed_entity": 0},
"remove_url": {"processed_entity": 0},
"trad_to_simp": {"processed_entity": 0},
"remove_id_card": {"processed_entity": 0},
"remove_phone_number": {"processed_entity": 0},
"remove_exception_char": {"processed_entity": 0},
"replace_sim2trad": {"processed_entity": 0},
"replace_trad2sim": {"processed_entity": 0},
"replace_upper2lower": {"processed_entity": 0},
"cut": {"remaining_entity": 0, "unprocessed_entity": 0},
"failReason": "",
"pauseReason": "",
},
"processStatus": 4,
"status": 0,
"errCode": 0,
"errMsg": "",
"createTime": "0001-01-01T00:00:00Z",
"finishTime": "0001-01-01T00:00:00Z",
"modifyTime": "0001-01-01T00:00:00Z",
}
],
"total": 12,
},
"status": 200,
"success": True,
},
)
参数说明
请求参数
名称 | 类型 | 必填 | 描述 |
---|---|---|---|
offset | int | 否 | 分页偏移,默认0 |
page_size | int | 否 | 分页大小,范围[1,20],默认10 |
返回参数
名称 | 类型 | 描述 |
---|---|---|
log_id | string | 操作记录id |
result | dict | 返回结果 |
status | int | 状态码 |
success | bool | 是否操作成功 · true:成功 · false:失败 |
返回结果result说明
名称 | 类型 | 描述 |
---|---|---|
processingCount | int | 正在清洗的任务数 |
items | dict[] | 任务列表 |
total | int | 任务总数 |
item说明
名称 | 类型 | 描述 |
---|---|---|
etlId | int | 清洗任务序号,注意:该字段后续将废弃,如果使用了此字段,建议变更为etlStrId字段 |
etlStrId | string | 清洗任务序号 |
startTime | string | 开始时间 |
sourceDatasetName | string | 清洗前源数据集名称 |
destDatasetName | string | 清洗后目标数据集名称 |
operatorNameList | string[] | 清洗使用的算子, (1)Clean清洗阶段算子 · remove_emoji:去除文档中的表情 · remove_invisible_character:移除ASCII中的一些不可见字符, 如0-32 和127-160这两个范围 · replace_uniform_whitespace:将不同的unicode空格比如 u2008,转成正常的空格 · remove_non_meaning_characters:去除乱码和无意义的unicode · replace_traditional_chinese_to_simplified:繁体转简体,如“不經意,妳的笑容”清洗成“不经意,你的笑容” · remove_web_identifiers:移除文档中的html标签,如 <html>,<dev>,<p> 等(2)Filter过滤阶段算子 · filter_check_number_words:检查文档的词数目,词数目不在指定范围会被过滤掉,如中文[1,10000] · filter_check_word_repetition_removal:检查文档的词重复率,如果词重复率太高,意味着文档中重复的词太多,文档会被过滤掉 · filter_check_character_repetition_removal:检查文档的字重复率,如果字重复率太高,意味着文档中重复的字太多,文档会被过滤掉 · filter_check_special_characters:检查文档的特殊字符率,如果特殊字符率太高,意味着文档中特殊字符太多,文档会被过滤掉 ·filter_check_flagged_words:检查文档的色情暴力词率,如果色情暴力词率太高,文档会被过滤掉 · filter_check_lang_id:检查文档的语言概率,如果语言概率太低,文档会被过滤掉 · filter_check_perplexity:检查文档的困惑度,如果困惑度太高,文档会被过滤掉 (3)Deduplication去重阶段算子 · deduplication_simhash:根据海明距离计算文档相似度, 相似度<=海明距离,认为两个文档相似。 (4)Desensitization 去隐私阶段算子 · replace_emails:去除email地址 · replace_ip:去除IPv4 或者 IPv6 地址 · replace_identifier:去除数字和字母数字标识符,如电话号码、信用卡号、十六进制散列等,同时跳过年份和简单数字的实例 |
sourceDatasetId | int | 源数据集版本id,注意:此字段后续将废弃,如果使用了此字段,建议变更为sourceDatasetStrId字段 |
sourceDatasetStrId | string | 源数据集版本字符串id |
destDatasetId | int | 目标数据集版本id,注意:此字段后续将废弃,如果使用了此字段,建议变更为destDatasetStrId字段 |
destDatasetStrId | string | 目标数据集版本字符串id |
entityCount | int | 实体数量 |
entityType | int | 实体类型,说明: · 1:图片 · 2:文本 |
result | dict | 清洗结果 |
processStatus | int | 清洗状态信息,说明: · 0:无状态,表示没有任务 · 1:运行中 · 2:已完成 · 3:任务终止 · 4:任务失败 · 5:任务暂停清洗状态信息 |
status | int | 状态: · 0:正常 · 1:删除 |
errCode | int | 未启用,是否清洗错误都为0 |
errMsg | string | 清洗错误时返回"failed" |
createTime | string | 创建时间 |
finishTime | string | 完成时间 |
modifyTime | string | 更改时间 |
清洗结果result说明
名称 | 类型 | 描述 |
---|---|---|
RET_OK | int | 清洗结果 |
pipeline_stage_result | dict | pipeline状态结果 |
export_entity_num | int | 导出实体数量 |
remaining_entity | int | 剩余实体 |
unprocessed_entity | int | 尚未清洗实体 |
remove_emoji | dict | 里面只有一个int字段,processed_entity:某个算子被执行的行数 |
remove_url | dict | 只有一个int字段,processed_entity:某个算子被执行的行数 |
trad_to_simp | dict | 只有一个int字段,processed_entity:某个算子被执行的行数 |
remove_id_card | dict | 只有一个int字段,processed_entity:某个算子被执行的行数 |
remove_phone_number | dict | 只有一个int字段,processed_entity:某个算子被执行的行数 |
remove_exception_char | dict | 只有一个int字段,processed_entity:某个算子被执行的行数 |
replace_sim2trad | dict | 只有一个int字段,processed_entity:某个算子被执行的行数 |
replace_trad2sim | dict | 只有一个int字段,processed_entity:某个算子被执行的行数 |
replace_upper2lower | dict | 只有一个int字段,processed_entity:某个算子被执行的行数 |
cut | dict | 裁剪,说明: · remaining_entity:剩余实体数量 · unprocessed_entity:尚未清洗实体 |
failReason | string | 失败原因 |
pauseReason | string | 暂停原因 |
pipeline_stage_result说明
名称 | 类型 | 描述 |
---|---|---|
clean | dict | 数据清洗clean阶段执行结果 |
deduplication | dict | 数据清洗deduplication阶段执行结果 |
desensitization | dict | 数据清洗desensitization阶段执行结果 |
filter | dict | 数据清洗filter阶段执行结果 |
执行结果说明
clean、deduplication、desensitization、filter 阶段执行结果字段相同,如下
名称 | 类型 | 描述 |
---|---|---|
status | string | 数据清洗某阶段执行结果,例:"Success" |
operator_count | int | 该阶段算子数 |
entity_match_count | int | 匹配到的实体数量 |
each_operator_result | dict[] | 具体到算子的清洗结果列表 |
each_operator_result 说明
名称 | 类型 | 描述 |
---|---|---|
name | string | 算子名称 |
remaining_count | int | 通过该算子清洗后剩余实体数 |
drop_count | int | 通过该算子清洗掉的实体数 |