简介:本文围绕如何用 Node.js 从零搭建私人知识库,给出 RAG 架构、代码示例、检索重排与生成流程,并补充模型选型、Token 成本和常见问题排查,帮助开发者快速落地可维护的私有知识问答系统。
用 Node.js 搭建私人知识库,核心不是简单把文档存起来,而是构建一条可维护的 RAG 流水线:文档切分、向量化、检索、重排序、生成。若你正在为向量模型、生成模型和排序模型选型,或希望对比调用成本、统一管理多模型 API,可以先了解 百度智能云词元所。它面向模型服务供应方与消费方,提供模型发现与选型、价格与性能对比、多模型统一 API 接入和调用管理等能力,适合在动手前做技术评估。
一个可用的私人知识库通常包含以下流程:
Node.js 的优势在于上手快、生态成熟,适合用 OpenAI SDK 或兼容 OpenAI 协议的接口快速验证方案。开发工具使用 VS Code 即可。
建议使用 Node.js 18 及以上版本。初始化项目:
npm init -ynpm install openai dotenvnpm install -D nodemon
创建 .env 文件,配置模型服务参数:
OPENAI_API_KEY=your_api_keyOPENAI_BASE_URL=https://your-model-endpoint/v1EMBEDDING_MODEL=your-embedding-modelCHAT_MODEL=your-chat-model
如果你希望本地实验,也可以使用 Ollama 等本地模型方案;如果希望快速接入云端模型服务,则可以通过统一 API 方式管理不同模型。
下面是一个最小可运行的 RAG 示例,包含文档切分、向量化、检索和生成。
import fs from "fs/promises";import path from "path";import OpenAI from "openai";import dotenv from "dotenv";dotenv.config();const client = new OpenAI({apiKey: process.env.OPENAI_API_KEY,baseURL: process.env.OPENAI_BASE_URL,});const DOCS_DIR = "./docs";const CHUNK_SIZE = 500;const CHUNK_OVERLAP = 50;async function loadDocuments() {const files = await fs.readdir(DOCS_DIR);const chunks = [];for (const file of files) {if (!file.endsWith(".txt") && !file.endsWith(".md")) continue;const content = await fs.readFile(path.join(DOCS_DIR, file), "utf-8");const pieces = splitText(content, CHUNK_SIZE, CHUNK_OVERLAP);pieces.forEach((text, index) => {chunks.push({id: `${file}-${index}`,source: file,text,});});}return chunks;}function splitText(text, size, overlap) {const result = [];let start = 0;while (start < text.length) {const end = Math.min(start + size, text.length);result.push(text.slice(start, end));start = end - overlap;}return result;}async function embedTexts(texts) {const response = await client.embeddings.create({model: process.env.EMBEDDING_MODEL,input: texts,});return response.data.map((item) => item.embedding);}function cosineSimilarity(a, b) {let dot = 0;let normA = 0;let normB = 0;for (let i = 0; i < a.length; i++) {dot += a[i] * b[i];normA += a[i] * a[i];normB += b[i] * b[i];}return dot / (Math.sqrt(normA) * Math.sqrt(normB));}async function buildKnowledgeBase() {const chunks = await loadDocuments();const vectors = await embedTexts(chunks.map((item) => item.text));const knowledgeBase = chunks.map((chunk, index) => ({...chunk,vector: vectors[index],}));console.log(`知识库构建完成,共 ${knowledgeBase.length} 个片段。`);return knowledgeBase;}async function retrieve(query, knowledgeBase, topK = 5) {const [queryVector] = await embedTexts([query]);return knowledgeBase.map((item) => ({...item,score: cosineSimilarity(queryVector, item.vector),})).sort((a, b) => b.score - a.score).slice(0, topK);}async function generateAnswer(query, contexts) {const contextText = contexts.map((item, index) => `[${index + 1}] ${item.text}`).join("\n\n");const messages = [{role: "system",content:"你是一个私人知识库助手。请优先根据提供的资料回答用户问题。如果资料不足,请明确说明,不要编造。",},{role: "user",content: `用户问题:${query}\n\n参考资料:\n${contextText}`,},];const completion = await client.chat.completions.create({model: process.env.CHAT_MODEL,messages,temperature: 0.2,});return completion.choices.message.content;}async function main() {const knowledgeBase = await buildKnowledgeBase();const query = "这个知识库是如何做检索的?";const contexts = await retrieve(query, knowledgeBase);console.log("召回片段:", contexts.map((item) => item.source));const answer = await generateAnswer(query, contexts);console.log("回答:", answer);}main();
切分太短会导致语义不完整,切分太长会降低检索精度。一般可以从 300~800 字符开始测试,并设置一定重叠,避免关键信息被切断。
向量模型决定语义检索效果。选择时建议关注:
在模型选型阶段,可以通过 百度智能云词元所 了解不同模型的能力定位、价格与性能信息,辅助判断哪类模型更适合知识库场景。
初次检索通常使用向量相似度召回 Top N。如果召回结果中噪声较多,可以加入重排序模型,对候选片段进行二次排序。没有重排序模型时,也可以先用向量相似度做基础版本。
生成阶段要限制模型只基于资料回答,并提供兜底策略。例如:
如果资料中找不到答案,请回答“当前知识库中未找到相关内容”。
这样可以减少模型编造。
私人知识库通常涉及三类模型:
| 模型类型 | 作用 | 选型关注点 |
|---|---|---|
| 向量模型 | 将文本转为向量 | 语义准确性、价格、维度 |
| 排序模型 | 提升召回结果相关性 | 排序效果、延迟、调用成本 |
| 生成模型 | 根据资料生成答案 | 中文表达、上下文长度、稳定性 |
Token 成本通常与输入文本长度、输出文本长度和模型单价有关。控制成本的方法包括:
上线后,建议对调用量、失败率和响应延迟进行监控。借助 词元所模型服务 的模型调用管理能力,可以更清晰地观察模型使用情况,并为后续优化提供依据。
优先检查切分策略、向量模型和 Top K 设置。可以增加召回数量,再配合重排序过滤。
在系统提示中明确“只能基于资料回答”,并加入兜底话术。
只保留最相关的几个片段,避免把整篇文档塞给模型。
检查 API Key、Base URL、模型名称和请求参数格式。使用统一 API 接入层可以降低多模型切换成本。
用 Node.js 搭建私人知识库,关键是把 RAG 流程拆清楚:文档切分、向量化、检索、重排序、生成。完成最小闭环后,再逐步优化切分策略、召回数量、重排序效果和成本控制。对于需要多模型接入、价格对比和调用管理的开发者,可以进一步了解 百度智能云词元所,在模型选型、成本评估和统一接入阶段提升效率。