微软GraphRAG兼容千帆通义等大模型

7月初，微软发布最强 RAG 知识库开源方案 GraphRAG，截至7.24号其Github Star数量已经达到 12.6 k，可见其火爆程度。可惜的是目前其方案与 OpenAI / AzureOpenAI 强绑定，没法直接使用国内百度千帆、阿里通义等以及开源模型，国内使用 OpenAI / AzureOpenAI 诸多不便，因此fork了官方代码创建了个新代码库：graphrag-more，在其基础上做了小部分修改，支持使用百度千帆、阿里通义、Ollama。

官方demo虽然很简单，但是token消耗可是一点都不含糊，使用 AzureOpenAI 跑一遍完整demo文档，预计得消耗5~10刀，初始化默认使用的是 gpt-4-turbo 模型，改用 gpt-3.5-turbo-16k 也得消耗2~3刀。

接下来介绍如何使用百度千帆、阿里通义、Ollama来跑微软官方的demo。

官方文档详见：https://microsoft.github.io/graphrag/posts/get_started/

  
  

   
   

    pip install graphrag-more
   
   
  
  

如需二次开发或者调试的话，也可以直接使用源码的方式，步骤如下：

下载 graphrag-more 代码库

git clone https://github.com/guoyao/graphrag-more.git

安装依赖包
这里使用 poetry 来管理python虚拟环境，安装 poetry 参考：https://python-poetry.org/docs/#installation

cd graphrag-more

poetry install

  
  

   
   

    # 创建demo目录
   
   
   
   

    mkdir -p ./ragtest/input
   
   
   
   

    
   
   
   
   

    # 下载微软官方demo数据
   
   
   
   

    curl https://www.gutenberg.org/cache/epub/24022/pg24022.txt > ./ragtest/input/book.txt
   
   
  
  

  
  

   
   

    python -m graphrag.index --init --root ./ragtest
   
   
  
  

根据选用的模型（千帆、通义、Ollama）将 example_settings 文件夹对应模型的 settings.yaml 文件复制到 ragtest 目录，覆盖初始化过程生成的 settings.yaml 文件。

  
  

   
   

    # 千帆
   
   
   
   

    cp ./example_settings/qianfan/settings.yaml ./ragtest
   
   
   
   

    
   
   
   
   

    # or 通义
   
   
   
   

    cp ./example_settings/tongyi/settings.yaml ./ragtest
   
   
   
   

    
   
   
   
   

    # or ollama
   
   
   
   

    cp ./example_settings/ollama/settings.yaml ./ragtest
   
   
  
  

每个settings.yaml里面都设置了默认的 llm 和 embeddings 模型，根据你自己要使用的模型修改 settings.yaml 文件的 model 配置

根据选用的模型，配置对应的环境变量，若使用Ollama需要安装并下载对应模型

  
  

   
   

    ollama pull mistral:latest
   
   
   
   

    ollama pull quentinz/bge-large-zh-v1.5:latest
   
   
  
  

  
  

   
   

    python -m graphrag.index --root ./ragtest
   
   
  
  

  
  

   
   

    # global query
   
   
   
   

    python -m graphrag.query \
   
   
   
   

    --root ./ragtest \
   
   
   
   

    --method global \
   
   
   
   

    "What are the top themes in this story?"
   
   
   
   

    
   
   
   
   

    # local query
   
   
   
   

    python -m graphrag.query \
   
   
   
   

    --root ./ragtest \
   
   
   
   

    --method local \
   
   
   
   

    "Who is Scrooge, and what are his main relationships?"