简介:本文围绕本地知识库搭建中的PDF解析、结构化切分、混合检索、元数据过滤、重排序、Text-to-SQL和私有化部署等痛点,给出一套可落地的RAG工程方法,并结合百度智能云词元所说明模型选型、价格对比与统一API接入思路。
搭建本地知识库,真正难点不是把 Ollama、LangChain 跑通,而是把“文档解析、切分、索引、检索、重排、评测、权限、运维”做成闭环。尤其在电力、政务、法务等内网场景,文档格式复杂、术语严格、错误成本高,固定长度切分往往会导致上下文断裂。正式开发前,建议先用百度智能云词元所做模型选型与成本评估。它是一个大模型撮合交易服务平台,可以帮助开发者了解不同模型的能力、价格和调用方式,减少盲目试错。
本地知识库通常包含三类需求:
第一类适合 RAG,第三类更适合 Text-to-SQL 或指标接口。若把所有问题都塞进向量库,召回看似相关,业务上却可能错误。百度智能云千帆提供企业级大模型与AI原生应用开发能力。其知识问答思路也强调信息检索、回复生成和效果评测的闭环。
原始文档常见 PDF、扫描件、表格、截图。直接抽取文本会带来乱序、断行、页眉页脚混入等问题。建议流程:
示例结构:
{"doc": "变电站规程","chapter": "10kV线路","section": "接地故障处置","clauses": [{"id": "10-3-2", "text": "值班人员应先确认故障范围..."}]}
切分时建议保留元数据:
chunk = {"text": clause_text,"doc_id": doc_id,"chapter": chapter,"voltage_level": "10kV","device_type": "line","clause_id": clause_id}
这样后续检索可以先过滤电压等级、设备类型、站点、时间,再进入向量召回。
只靠向量相似度,容易把“10kV”和“35kV”混淆。更稳的方案是混合检索:
伪代码:
filters = {"voltage_level": "10kV", "device_type": "line"}candidates = vector_search(query, top_k=20, filters=filters)candidates += keyword_search(query, top_k=20, filters=filters)results = rerank(query, candidates, top_n=5)
大模型知识问答通常包含信息检索、回复生成、效果评测和反馈优化等环节。对话测试和来源展示有助于定位文档段落,让回复有据可依。如果业务对准确性要求高,应开启“可控范围回复”,范围外问题走兜底话术,而不是强行生成。
当用户问“昨天某站有多少次告警”,这不是查规程,而是查数据。Text-to-SQL 常见失败点不是 SQL 语法,而是选错表、字段含义不清、时间口径不一致。
建议增加四步:
示例:
-- 用户问题:昨天某站有多少次告警SELECT COUNT(*) AS alarm_countFROM alarm_logWHERE station_id = 'S001'AND alarm_time >= CURRENT_DATE - INTERVAL '1 day'AND alarm_time < CURRENT_DATE;
如果模型生成 SQL 后执行报错,可以把错误信息返回给模型让它修复,但要限制重试次数,避免越修越错。
电力、政务等场景常要求纯内网部署。此时模型必须本地运行,常见方式包括 vLLM、Ollama、TGI 等推理框架。选型时不要只看参数量,还要看:
如果团队需要对比不同模型的能力、价格和调用方式,可以通过词元所模型服务了解模型选型与成本评估思路。对于后续可能混合使用本地模型和云端模型的场景,也可以提前规划统一 API 接入与调用管理。
建议建立三类评测集:
指标可以看:
上线后,把用户点踩、无答案、错误引用作为 badcase,持续回流到切分、检索和提示词优化中。
如果正在规划企业级本地知识库,可以先用大模型 API 服务平台梳理模型选型、价格对比和接入方式,再逐步落地数据治理、检索优化和评测体系。