简介:本文围绕本地知识库搭建中的PDF解析、结构化切分、元数据过滤、混合检索、重排序、Text-to-SQL与本地算力部署等问题,给出一套可落地的工程方法,并结合百度智能云词元所说明模型选型、价格对比与统一API接入思路。
搭建本地知识库,不是安装Ollama、跑通LangChain demo就结束,而是要建立一条从数据治理到检索生成的工程闭环。尤其在电力、政务、法务等内网场景,文档格式复杂、术语严格、错误代价高,必须把“解析、切分、检索、重排、评测、兜底”每一步做扎实。若你正在做本地模型选型,或后续需要把能力封装成API,可以先通过百度智能云词元所了解模型发现、价格与性能对比、多模型统一API接入和调用管理能力。
很多本地知识库项目第一步就卡在数据上。扫描件、图片型PDF、复杂排版、嵌套表格、跨页条款,都会导致解析失败。固定长度切分看似简单,实际会把“第X条”的上下文切断,造成召回内容不完整。
建议先做结构化解析:
例如电力规程可以这样组织:
doc = {"title": "10kV线路运维规程","voltage_level": "10kV","device_type": "line","sections": [{"chapter": "故障处置", "articles": ["第12条 ...", "第13条 ..."]}]}
这样做的价值是:后续检索不仅能靠语义相似度,还能按业务字段过滤。
原始项目里常见的坑是直接用RecursiveCharacterTextSplitter默认参数。对于规程、制度、合同、手册这类强结构文档,更好的策略是“结构优先、语义兜底”。
推荐流程:
示例:
def split_structured(doc):chunks = []for chapter in doc["sections"]:for article in chapter["articles"]:chunks.append({"text": article,"chapter": chapter["chapter"],"doc_id": doc["title"],"voltage_level": doc["voltage_level"]})return chunks
如果文档本身不规范,还要建立“文档质量评分”:缺章节、缺版本、条款引用断裂、表格错乱的文档先进入人工治理队列。知识库效果不好,很多时候不是模型不行,而是知识源不稳定。
“10kV线路接地故障怎么处置”召回35kV规程,是典型问题。语义模型只知道文本相近,不知道业务上电压等级不能混用。解决方式不是单纯换更大的向量模型,而是加入检索前置过滤。
可采用“元数据过滤 + 向量检索 + 关键词检索 + 重排序”的组合:
filters = {"voltage_level": "10kV","doc_type": "regulation"}candidates = vector_search(query, filters=filters, top_k=20)candidates += keyword_search(query, filters=filters, top_k=20)final = rerank(query, candidates, top_n=5)
关键点:
如果业务允许,还可以加入规则引擎:涉及安全处置、带电操作、越级权限时,强制校验适用范围。
本地知识库的输出不能只是“看起来像答案”。在规程、制度、客服、运维场景里,必须要求模型给出处。提示词可以要求:
同时要建立反馈机制。大模型知识问答通常需要支持检索反馈、回复反馈和效果评测,才能知道是召回错了、切分错了,还是生成提示词有问题。建议维护一个测试集,覆盖高频问题、边界问题、错误问题和多轮追问,每次调整解析、切分、检索参数后都跑一遍。
当用户问“昨天XX站有多少次告警”,知识库就要从文档问答扩展到数据查询。Text-to-SQL的难点不在SQL语法,而在选表、字段理解和业务口径。
推荐流程:
示例:
tables = select_candidate_tables(question, schema_index)sql = generate_sql(question, tables, examples=few_shot_examples)sql = validate_sql(sql)if not sql:sql = repair_sql(question, sql, error)
简单单表查询可以做到较高可用率,但多表关联、时间窗口、指标口径仍需要业务专家参与。不要把Text-to-SQL当成完全自动决策,尤其涉及生产告警、调度、财务等敏感数据时,必须有权限控制和审计。
电力、制造、政务等场景常常要求纯内网部署。模型必须本地跑,硬件和推理框架就要提前规划。以4090级消费卡为例,运行27B级模型通常需要量化,并通过vLLM、Ollama等推理框架提升吞吐。实际部署时要关注:
如果团队没有固定模型,或者需要在本地模型、云端API、不同参数规模模型之间做选择,可以借助词元所模型服务进行模型发现、价格与性能对比,避免只凭参数量做决策。对于企业级项目,还可以结合大模型建设咨询和应用构建服务,先梳理场景、数据、评测指标与交付边界。
如果从零开始,建议按这个顺序推进:
本地知识库的核心不是“接了一个大模型”,而是把企业知识变成可检索、可验证、可运营的数字资产。只要数据治理、检索过滤、评测反馈和兜底机制做扎实,即使使用消费级显卡和本地开源模型,也能逐步达到可用状态。若后续需要统一接入多模型或评估调用成本,也可以通过大模型API服务平台进一步管理模型调用与选型。