基于DeepSeek R1与Ollama的RAG系统开发指南

作者：宇宙中心我曹县2025.09.26 18:07浏览量：72

简介：本文详解如何结合DeepSeek R1大模型与Ollama本地化部署工具，构建高可用RAG（检索增强生成）系统，涵盖架构设计、代码实现与性能优化全流程。

一、技术选型背景与核心价值

RAG（Retrieval-Augmented Generation）技术通过将检索系统与生成模型结合，解决了传统大模型在知识时效性、领域专业性及幻觉问题上的短板。本方案选择DeepSeek R1作为生成核心，Ollama作为本地化部署框架，主要基于以下考量：

  1. DeepSeek R1特性：作为开源大模型，R1在中文理解、长文本处理及逻辑推理方面表现突出，支持16K上下文窗口，适合复杂知识问答场景。
  2. Ollama优势：提供轻量化本地部署方案，支持多模型无缝切换，通过GPU加速实现低延迟推理，尤其适合企业私有化部署需求。
  3. 架构互补性：Ollama的模型服务能力与R1的生成能力形成闭环，结合向量数据库（如Chroma、PGVector）构建检索层，形成完整的RAG技术栈。

二、系统架构设计

1. 模块化分层架构

系统分为四层：

  • 数据层：包含结构化知识库（PDF/Word/Markdown）与非结构化数据（API/数据库）
  • 检索层：由Embedding模型（如BAAI/bge-small-en-v1.5）与向量数据库构成
  • 推理层：Ollama托管的DeepSeek R1模型实例
  • 应用层：提供RESTful API与Web界面交互

2. 关键技术选型

  • 向量数据库：推荐Chroma（纯Python实现）或PGVector（PostgreSQL扩展），前者适合快速原型开发，后者适合生产级部署
  • Embedding模型：根据场景选择：
    • 通用场景：BAAI/bge-small-en-v1.5（平衡速度与精度）
    • 多语言场景：sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2
  • Ollama配置：建议分配至少8GB显存的GPU，通过ollama run deepseek-r1:7b启动模型服务

三、代码实现详解

1. 环境准备

  1. # 安装依赖
  2. pip install chromadb langchain-community sentence-transformers fastapi uvicorn
  3. # 启动Ollama服务（需提前安装）
  4. ollama serve
  5. # 下载Embedding模型
  6. git lfs install
  7. mkdir -p models/embedding
  8. cd models/embedding
  9. wget https://huggingface.co/BAAI/bge-small-en-v1.5/resolve/main/pytorch_model.bin

2. 核心代码实现

向量数据库初始化

  1. from chromadb import Client, Settings
  3. def init_vector_db():
  4.     client = Client(
  5.         Settings(
  6.             chroma_db_impl="duckdb+parquet",
  7.             persist_directory="./chroma_persist"
  8.         )
  9.     )
  10.     collection = client.create_collection(
  11.         name="knowledge_base",
  12.         metadata={"hnsw:space": "cosine"}
  13.     )
  14.     return collection

文档处理管道

  1. from langchain.document_loaders import DirectoryLoader
  2. from langchain.text_splitter import RecursiveCharacterTextSplitter
  4. def process_documents(doc_dir):
  5.     loader = DirectoryLoader(doc_dir, glob="**/*.{pdf,docx,txt}")
  6.     documents = loader.load()
  8.     text_splitter = RecursiveCharacterTextSplitter(
  9.         chunk_size=500,
  10.         chunk_overlap=50
  11.     )
  12.     split_docs = text_splitter.split_documents(documents)
  13.     return split_docs

rag-">RAG查询实现

  1. from langchain.embeddings import HuggingFaceEmbeddings
  2. from langchain.llms import Ollama
  3. from langchain.chains import RetrievalQA
  5. class RAGSystem:
  6.     def __init__(self):
  7.         self.embeddings = HuggingFaceEmbeddings(
  8.             model_name="./models/embedding",
  9.             model_kwargs={"device": "cuda"}
  10.         )
  11.         self.llm = Ollama(
  12.             model="deepseek-r1:7b",
  13.             url="http://localhost:11434"
  14.         )
  15.         self.collection = init_vector_db()
  17.     def update_knowledge(self, documents):
  18.         texts = [doc.page_content for doc in documents]
  19.         embeddings = self.embeddings.embed_documents(texts)
  20.         ids = [str(i) for i in range(len(texts))]
  21.         metadatas = [{"source": doc.metadata["source"]} for doc in documents]
  23.         self.collection.upsert(
  24.             ids=ids,
  25.             embeddings=embeddings,
  26.             metadatas=metadatas,
  27.             documents=texts
  28.         )
  30.     def query(self, question, k=3):
  31.         retriever = self.collection.as_retriever(
  32.             search_type="similarity",
  33.             search_kwargs={"k": k},
  34.             embedding_function=self.embeddings
  35.         )
  36.         qa_chain = RetrievalQA.from_chain_type(
  37.             llm=self.llm,
  38.             chain_type="stuff",
  39.             retriever=retriever,
  40.             return_source_documents=True
  41.         )
  42.         result = qa_chain(question)
  43.         return result

3. API服务封装

  1. from fastapi import FastAPI
  2. from pydantic import BaseModel
  4. app = FastAPI()
  5. rag_system = RAGSystem()
  7. class QueryRequest(BaseModel):
  8.     question: str
  9.     context_files: list[str] = []
  11. @app.post("/query")
  12. async def query_endpoint(request: QueryRequest):
  13.     if request.context_files:
  14.         # 实际应用中应实现文件上传逻辑
  15.         pass
  16.     result = rag_system.query(request.question)
  17.     return {
  18.         "answer": result["result"],
  19.         "sources": [doc.metadata["source"] for doc in result["source_documents"]]
  20.     }

四、性能优化策略

1. 检索层优化

  • 混合检索：结合BM25关键词检索与向量语义检索
    ```python
    from langchain.retrievers import EnsembleRetriever

def create_hybrid_retriever(collection, embeddings):
vector_retriever = collection.as_retriever(
search_type=”similarity”,
embedding_function=embeddings
)

  1. # 实际应用中需集成BM25检索器
  2. return EnsembleRetriever(
  3.     retrievers=[vector_retriever],
  4.     weights=[1.0]
  5. )
  2. ## 2. 生成层优化
  3. - **温度参数调优**：根据场景调整`temperature`（0.1-0.7）和`top_p`（0.8-0.95）
  4. - **流式输出**：实现SSE（Server-Sent Events）支持
  5. ```python
  6. from fastapi import Response
  7. from fastapi.concurrency import run_in_threadpool
  9. async def stream_response(llm, question):
  10.     generator = llm.stream(question)
  11.     async def generate():
  12.         async for chunk in generator:
  13.             yield f"data: {chunk}\n\n"
  14.     return Response(generate(), media_type="text/event-stream")

3. 部署优化

  • 容器化部署：使用Docker Compose管理服务依赖

    1. version: '3.8'
    2. services:
    3. ollama:
    4.   image: ollama/ollama:latest
    5.   volumes:
    6.     - ./models:/root/.ollama/models
    7.   ports:
    8.     - "11434:11434"
    9.   deploy:
    10.     resources:
    11.       reservations:
    12.         devices:
    13.           - driver: nvidia
    14.             count: 1
    15.             capabilities: [gpu]
    17. api:
    18.   build: .
    19.   ports:
    20.     - "8000:8000"
    21.   depends_on:
    22.     - ollama

五、生产级实践建议

  1. 数据更新机制：

    • 实现定时任务自动更新知识库
    • 版本控制：为每次更新创建向量数据库快照

  2. 监控体系：

    • 关键指标：检索延迟（P99<500ms）、生成吞吐量（QPS>10）
    • 日志分析：记录无效查询模式优化检索策略

  3. 安全加固：

    • API鉴权：JWT或OAuth2.0
    • 输入过滤：防止Prompt注入攻击

六、典型应用场景

  1. 企业知识管理：

    • 连接内部文档系统，实现智能问答
    • 示例：财务制度查询、产品手册检索

  2. 客户服务自动化：

    • 集成工单系统，自动生成解决方案
    • 案例：电信运营商故障排查助手

  3. 法律文书分析：

    • 结合法条数据库实现案例推理
    • 实践：合同条款风险评估

本方案通过DeepSeek R1与Ollama的深度整合，构建了可扩展的RAG系统框架。实际部署中需根据业务场景调整模型规模（7B/13B/33B参数）、检索策略（稀疏/稠密检索）及部署架构（单机/分布式）。建议从7B模型开始验证，逐步优化至满足业务需求的性能水平。

最热文章