导入知识库
更新时间：2024-11-13
接口描述
导入到知识库，当前仅支持单个web的url导入。
权限说明
Authorization需要填写密钥
接口定义
| Path | /v2/knowledgeBase?Action=CreateDocuments |
|---|---|
| Method | POST |
| Content-Type | application/json |
| Authorization | 请求签名(此签名为应用工作台密钥) |
请求结构
POST /v2/knowledgeBase?Action=CreateDocuments HTTP/1.1
HOST: qianfan.baidubce.com
Authorization: authorization string
Content-Type: application/json
{
"id":"knowledgeBaseID",
"source": { # 数据来源
"type": "web", # web
"urls": [],
"urlDepth": 1
},
"contentFormat": "", # rawText (允许配置后续分割策略)
"processOption": {
"template": "ppt" # 可选项为 ppt、paper、qaPair、resume、custom、default
"parser": { # 不是必填项
"choices": ["layoutAnalysis"] # 可选项为 layoutAnalysis、ocr
},
"chunker": {
"choices": ["separator"], # separator, pattern, onePage
"separator": { #当choices中包含 separator时需要填写这个参数
"separators": [",", "!", "?"], # separator，可以新增分页符
"targetLength": 333,
"overlapRate": 0.09
},
// "pattern": { #当choices中包含 pattern时需要填写这个参数
// "markPosition": "head",
// "regex": "正则表达式",
// "targetLength": 333,
// "overlapRate": 0.09
// }
},
"knowledgeAugmentation": {
"choices": ["faq"], # faq，spokenQuery、spo、shortSummary按需增加
}
}
}请求头域
除公共头域外，无其它特殊头域。
请求参数
| 字段 | 类型 | 是否必须 | 说明 |
|---|---|---|---|
| id | string | 是 | 知识库id |
| source | dict | 是 | 数据来源 |
| source \ type | string | 是 | 数据来源类型 (web) |
| source \ urls | []string | 是 | url列表 |
| source \ urlDepth | int | type=web 时是 | url下钻深度，1时不下钻 |
| contentFormat | string | 是 | 上传的数据类型，可选值为：rawText：文本文档数据,暂不支持表格型知识数据 |
| processOption | object | contentFormat为rawText时是 | 文档处理策略 |
| processOption \ template | string | 是 | 配置方法，可选值为：ppt：ppt幻灯片paper：论文文档resume：简历文档custom：自定义配置，且切片策略可配置default：自定义配置（切片策略不生效）qaPair：结构化问答对 |
| processOption \ parser | dict | 否 | 文档解析配置 |
| processOption \ parser \ choices | []string | 否 | 解析方法，可选值为：(文字提取默认启动，参数不体现）layoutAnalysis：版面分析ocr：光学字符识别 pageImageAnalysis:文档图片解析 |
| processOption \ chunker | dict | 自定义配置（template为custom）时是 | 切片策略配置 |
| processOption \ chunker \ choices | []string | 是 | 使用哪些切片策略方法，可选值为：separator:分割符切片，配置切分标识符、切片最⼤⻓度等选项pattern：正则切片方法，使用正则表达式切片onePage: 整文件切片，将整篇文档内容存入单一切片 |
| processOption \ chunker \ separator | dict | chunker.choices[]中包含时是 | 分隔符配置 |
| processOption \ chunker \ separator \ separators | []string | chunker.choices[]中包含separator时是 | 分隔符列表，可以使用分页符 |
| processOption \ chunker \ separator \ targetLength | int | chunker.choices[]中包含separator时是 | 分段最大长度 |
| processOption \ chunker \ separator \ overlapRate | float | chunker.choices[]中包含separator时是 | 重叠比例 |
| processOption \ chunker \ pattern | dict | chunker.choices[]中包含pattern时是 | 正则配置 |
| processOption \ chunker \ pattern \ markPosition | string | chunker.choices[]中包含pattern时是 | 匹配命中时，命中内容放置策略(head | tail | drop) |
| processOption \ chunker \ pattern \ regex | string | chunker.choices[]中包含pattern时是 | 正则表达式 |
| processOption \ chunker \ pattern \ targetLength | int | chunker.choices[]中包含pattern时是 | 分段最大长度 |
| processOption \ chunker \ pattern \ overlapRate | float | chunker.choices[]中包含pattern时是 | 重叠比例 |
| processOption \ chunker \ prependInfo | []string | 否 | chunker关联元数据，可选值为：title :增加标题,filename:增加文件名 |
| knowledgeAugmentation | dict | 否 | 数据增强策略 |
| knowledgeAugmentation \ choices | []string | 否 | faq，spokenQuery、spo、shortSummary按需增加 |
响应头域
除公共头域外，无其它特殊头域。
响应参数
| 字段 | 类型 | 必然存在 | 说明 |
|---|---|---|---|
| requestId | string | 是 | requestId |
| documentIds | Array | 是 | 文档id |
示例
请求curl 示例
curl --location 'https://qianfan.baidubce.com/v2/knowledgeBase?Action=CreateDocuments' \
--header 'Authorization: Bearer authorization string' \
--header 'Content-Type: application/json' \
--data '{
"id":"4bcfc08f-0f30-4acd-95ec-2bedecc8f795",
"source": {
"type": "web",
"urls":["url"],
"urlDepth": 1
},
"contentFormat": "rawText",
"processOption": {
"template": "default",
"parser": {
"choices": ["layoutAnalysis"]
},
"chunker": {
"choices": ["separator"],
"separator": {
"separators": ["。", "，","，"],
"targetLength": 300,
"overlapRate": 0.25
},
"prependInfo": ["title", "filename"]
}
}
}'正确响应示例
HTTP/1.1 200 OK
{
"requestId": "46017562-637f-402a-9000-cfe535986d5d"
"documentIds": [
"35575d7e-89d3-4b85-b41f-9bb66a5e62be"
]
}错误响应示例
HTTP/1.1 400
{
"code": "InvalidRequestArgumentError",
"message": "Dataset Not Found",
"requestId": "9873898f-4af9-42da-b670-7cd71de8c4d2"
}