产品简介
一、AI 应用为什么需要向量数据库
在知识库问答、智能搜索、以图搜图等场景中,应用需要找到与用户问题或输入内容在语义上相关的数据。Embedding 模型可以将文本、图片等内容转换为向量,向量数据库则负责这些向量及相关业务数据的存储、索引和检索,为应用提供相似内容召回能力。
当数据规模、访问并发和业务复杂度增加时,应用还需要同时处理检索效率、业务条件过滤、数据更新和服务稳定性等问题。
| 类型 | 表现 | 问题分析 | 向量数据库的价值 |
|---|---|---|---|
| 相似内容难以查找 | 用户换一种说法提问,或通过图片查找相似内容时,难以得到相关结果 | 关键词匹配侧重字面命中,语义相近的内容可能没有相同关键词 | 基于向量相似度查找相关内容,支持语义检索和多模态检索 |
| 数据增长后检索成本上升 | 向量数量增加后,逐条计算相似度的耗时和资源开销增大 | 高维向量需要专门的索引算法和分布式处理能力 | 通过向量索引与分布式架构,提高大规模数据的检索效率 |
| 语义相关但不符合业务条件 | 检索结果内容相似,却不属于指定类别、时间范围或业务空间 | 业务检索需要同时满足相似度和结构化条件 | 将向量检索与标量过滤结合,使结果符合业务范围 |
| 单一召回方式覆盖不足 | 语义检索遗漏专有名词,关键词检索又难以理解不同表达 | 语义相关性与关键词命中各有适用场景 | 结合向量检索、全文检索与融合排序,提高结果覆盖度 |
| 数据更新和服务运维复杂 | 数据持续变化,还需维护索引、扩展容量、监控和处理故障 | 检索能力进入生产环境后,需要持续的数据管理和运维保障 | 提供数据读写、索引管理、弹性扩展及托管运维能力 |
因此,向量数据库为 AI 应用提供可持续更新、可按业务条件检索、可随规模扩展的数据基础,适用于 RAG 知识库、AI Search、内容相似度检索等场景。相关能力及场景见产品优势和应用场景。
二、百度智能云向量数据库是什么
百度智能云向量数据库 VectorDB 是面向 AI 应用的分布式向量数据库产品,提供向量及相关业务数据的存储、索引、检索和管理能力,适用于大模型知识库、RAG、AI Search、文本与图像相似度检索等场景。其产品定位侧重在线检索,相关说明见VectorDB 优势产品定位。
VectorDB 同时提供百度自研引擎和 Milvus 引擎。百度自研引擎围绕在线检索进行优化,提供向量检索、标量过滤、全文检索和混合检索等能力;Milvus 引擎面向依赖 Milvus SDK、API 和生态的用户,提供云端托管能力,降低存量业务上云和迁移的接入成本。双引擎定位见新增 Milvus 引擎产品文档,已发布能力见产品功能发布记录。
用户可以通过控制台创建和管理数据库实例,并使用所选引擎对应的 API、SDK 及生态工具接入业务。产品提供实例管理、监控和运维能力;百度自研引擎还支持私有化部署,满足不同部署环境下的向量检索需求。相关说明见产品优势。
三、向量数据库核心能力及其价值
VectorDB 围绕数据存储、相似度检索、业务过滤、混合召回和生产运维提供能力。不同引擎的接口、索引类型及功能范围以对应引擎文档为准。
| 核心能力 | 能力说明 | 价值 |
|---|---|---|
| 向量存储与相似度检索 | 存储高维向量及关联业务数据,通过向量索引检索相似内容;自研引擎提供 HNSW、DiskANN、PUCK 等多种索引选择 | 为知识库问答、语义搜索、以图搜图等应用提供检索基础,便于根据数据规模和业务需求选择索引 |
| 标量过滤与业务数据查询 | 自研引擎支持带标量条件的向量检索,以及主键点查、Select 查询等操作 | 在检索相关内容的同时,限定类别、时间和业务范围,减少无关结果 |
| 全文检索与混合检索 | 自研引擎提供中英文全文检索,支持结合向量检索进行混合召回,并通过 RRF 或带权重的融合排序合并结果 | 同时考虑语义相关性和关键词命中,适应专有名词、精确词和自然语言问题混合出现的搜索需求 |
| 多向量与灵活数据建模 | 自研引擎支持单行多个向量字段、多向量检索,以及 JSON、数组和动态字段等数据类型 | 便于管理同一业务对象的多种特征表达,减少向量与业务属性分散管理的成本 |
| 实时数据读写 | 自研引擎支持数据增删改查,写入成功后数据即可被查询和检索 | 让新增知识和业务数据及时参与检索,适应持续更新的在线应用 |
| 分布式架构与弹性扩展 | 提供分布式实例与高可用部署能力;自研引擎支持横向、纵向扩缩容,Milvus 引擎提供分布式高可用架构并支持双可用区部署 | 随数据规模和访问负载调整资源,提高服务可用性和故障应对能力 |
| 安全与数据保护 | 自研引擎提供多用户、RBAC、HTTPS、透明加密及备份恢复能力;Milvus 引擎提供 IP 白名单等访问控制能力 | 按所选引擎配置访问控制和数据保护措施,满足业务系统的安全管理需求 |
| Milvus 生态兼容与托管运维 | 提供 Milvus 引擎形态,适配依赖 Milvus SDK、API 的应用,并提供实例管理、日志管理及小版本升级等能力 | 降低已有 Milvus 应用的接入与迁移成本,减少自建集群的运维负担 |
| AI 应用生态接入 | 自研引擎提供多语言 SDK,支持 LangChain、LlamaIndex、Dify、FastGPT、RAGFlow 等生态集成,并提供 AI Search SDK | 便于将向量检索接入现有应用框架,缩短 RAG 和智能搜索应用的开发路径 |
评价此篇文章
