RAG 场景如何使用向量数据库 VectorDB

VectorDB 可用于知识库、RAG 类应用、AISearch 类应用、内容管理系统和图像识别等场景,并通过高维向量数据存储和检索支撑大模型相关应用开发。

RAG 和知识库为什么需要向量数据库

向量数据库可以围绕文本、图片、会话和私域数据提供检索能力,帮助大模型应用获取更相关的上下文。

信息相似度检索

在当今的信息时代,快速而准确地检索文本和图片数据成为了一个重要挑战。我们的向量数据库针对这一挑战,提供了一个高效、安全且智能的解决方案。

大模型问答记忆

在利用大型语言模型进行问答交互时,保持模型与用户之间的会话连贯性是提高回答质量和相关性的关键。

大模型私域知识库

在私有云环境中,构建专属的私域知识库是提升业务决策效率和精确性的关键。

构建检索应用时如何评估资源

实例资源规划文档提供 CPU、内存、节点规模和存储容量的评估方式,可用于检索业务上云前的容量判断。

CPU 与 QPS 预估

根据性能白皮书,以Cohere百万768维数据为例,在Recall 99%的情况下,QPS为3784。此数据基于拥有3台4c8g 数据节点的向量数据库实例进行的测试。

单核 QPS单核提供QPS能力 = 3784 / 12 ≈ 300。
CPU 资源预估CPU核数 = 预估QPS / 300。
注意事项实际应用中建议通过压力测试来确定最佳CPU核数。

内存与索引空间

向量数据和向量索引均存储于数据节点,数据节点的内存构成包括预留缓存和向量索引存储空间。

缓存内存缓存内存 = Min(5GB, 0.15 * 内存规格)。
索引管理为处理索引重构,剩余内存应至少为当前索引所需内存的两倍。
快速评估可根据节点规格,估算单节点最大支持的向量数据量级。

创建实例时需要配置什么

创建 Milvus 引擎实例时,需要根据访问地域、网络、节点和登录凭证完成实例配置。

付费与地域

包年包月:先付费后使用,价格更低廉。按量付费:先使用后付费,按需开通。当前地域支持华北 - 北京、华北 - 保定、华南 - 广州、华东 - 苏州。

基本信息

数据库引擎选择 Milvus引擎;引擎版本当前支持 2.6 版本;实例类型为标准版,标准版为分布式高可用架构,可支持横向扩容,满足企业级用户需求。

网络与登录凭证

网络支持百度内部专线和私有网络(VPC),VPC 网络需要事先创建,或者您也可以选择已有网络创建。登录凭证支持自定义设置和系统设置。

资源计算器适合什么时候使用

当需要根据业务数据量推算集群资源时,可以结合资源计算器完成购买前配置评估。

节点规模和存储容量

实例资源规划文档提供以1亿条768维向量,M=32,副本数为3,节点规格16核64G为例的节点规模试算,并给出存储容量计算方式。

存储容量存储容量 = 源数据大小 * (1 + 数据膨胀 + 内部其他开销) * (1 + 预留空间)。

根据数据量评估资源

通过资源计算器,您可以快速根据业务的数据量评估出所需的资源,并根据总资源给出最适合的集群配置信息,方便用户购买下单。

相关文档

继续查看 VectorDB 的应用场景、实例资源规划、创建实例和产品优势。

应用场景

介绍信息相似度检索、大模型问答记忆、大模型私域知识库等向量数据库应用场景。

实例资源规划

介绍 CPU 资源、内存资源、快速评估内存、节点规模试算、存储资源和资源计算器。

创建实例

介绍如何通过 VectorDB 管理控制台创建 Milvus 引擎实例,并配置付费与地域、基本信息、网络信息和管理设置。

产品优势

介绍 VectorDB 的分布式架构、高可用、高可靠、高性能、强扩展、安全特性和大模型相关应用开发场景。

面向 RAG 应用规划 VectorDB 资源

从应用场景、实例配置和资源规划入手,结合检索 QPS、向量维度、索引类型和数据量评估所需实例规格。