轻松两步,借助向量数据库 VectorDB 与千帆 Appbuilder 构建个性化本地问答知识库
在我们日常的工作和生活中,经常会遇到需要快速获取和管理大量信息的情况。无论是解答客户的问题,还是整理公司内部的资料,一个高效的知识库系统都能帮我们省下大量时间和精力。
为了帮助大家快速构建 RAG 应用,我们之前发布了一个示例:
大模型和向量数据库怎么搭建 RAG 系统?Step by step 例子来了。
相当火爆,意在指导大家 Step By Step 打通搭建的壁垒,但是广大的用户反馈还是比较复杂,至少需要 9 步才能搭建,这对于很多人来说确实是个不小的挑战。
为了让更多人能够轻松构建自己的知识库,我们开发了一个全新的 RAGFlow SDK。这个工具包将繁琐的流程简化为只需要 2 步,不管你有没有编程经验,都可以轻松上手,快速搭建自己的知识库系统。
在这篇文章中,我会带你一步步了解如何使用 RAGFlow SDK,只需几分钟,你就能掌握方法,并开始构建和管理你的知识库。让我们一起来体验一下这个简化后的过程吧!
一、准备环境
向量数据库环境
1、创建百度向量数据库实例,当前每个新用户都有免费试用实例,抓紧申请吧。
地址:https://console.bce.baidu.com/vdb/#/vdb/instance/create
2、创建成功后,通过实例详情页查看访问的地址信息和账号信息,用于访问操作向量数据库。如例子截图,访问信息如下:
# 访问地址格式:http://${IP}:${PORT}
访问地址:http://192.168.0.170:5287
账号:root
密钥:xxxx
开通千帆必要服务
千帆模型开通付费之后才能使用,开通不会产生费用,且有代金券赠送
1、开通千帆“Embedding-V1”, “bce-reranker-base”,“ERNIE Speed-AppBuilder”的付费。
https://console.bce.baidu.com/qianfan/chargemanage/list
2、创建应用,获取 API Key 和 Secret Key
https://console.bce.baidu.com/qianfan/ais/console/applicationConsole/application
$your_qianfan_ak = API Key
$your_qianfan_sk = Secret Key
开通 AppBuilder
AppBuilder 目前不收费不会产生费用
1、登录 AppBuilder ,访问“密钥管理”->“新增密钥”,获取密钥信息
$your_ab_token = 密钥
二、开始部署
准备 SDK
本地环节下载和部署安装 RAGFlow 的 SDK。
注意:SDK 要求 Python 版本 >= 3.9 和 Python 版本 <= 3.11, 其他版本会有依赖兼容问题, 如何安装可咨询文心一言。可帮助你解决问题。
# 下载 SDK,可以使用 wget,也可以直接浏览器访问下载地址下载到本地。
wget http://public-vdb.bj.bcebos.com/ragflow-python-sdk-1.1.zip
# 解压下载的 SDK 包
unzip ragflow-python-sdk-1.1.zip
# 安装 sdk 依赖的环境,等待环境安装完成
cd ragflow-python-sdk-1.1
# 创建 requirements.txt 文件并添加依赖项
echo -e "requests\norjson\nfuture\npymochow\nqianfan\nappbuilder-sdk\nbce-python-sdk\nlangchain" > requirements.txt
# 安装依赖
pip3 install -r requirements.txt
# 运行你的 setup.py 安装,此步需要输入你本地密码。
sudo python3 setup.py install
启动 SDK
启动运行 RAGFlow 程序,按照运行提示填写对应的信息。
如果信息配置错误没关系,按 "control+c" 退出程序,然后删除 examply.py 同目录下的 user_info.json 文件重新运行就行。
# 切换到 example 目录,然后启动 examply.py ,首次启动根据提示输入配置信息。
cd example && python3 example.py
提示 | 内容说明 |
---|---|
your_ab_token | AppBuilder 的密钥 |
your_qianfan_ak | ModelBuilder 的 API Key |
your_qianfan_sk | ModelBuilder 的 Secret Key |
endpoint | 向量数据库的访问地址 |
your_account | 向量数据库的账号 |
your_apikey | 向量数据库的密钥 |
文件全路径 | 需要录入的知识库的 pdf 文件, 可使用 sdk 自带的 pdf 文件 example/example_data/RAG.pdf |
三、效果展示
启动并且配置完信息之后的效果图如下
再次启动的效果图如下