测试结果说明

本文提供了百度智能云VectorDB和某开源系统的对比测试结果报告。性能报告主要关注以下两个指标：

• 检索QPS或吞吐：系统在单位时间内能够处理的检索请求数量，是衡量检索性能的关键指标。
• 召回率：检索的TopK结果中，满足真实情况（KNN检索）的TopK集合的比例，是衡量向量检索精度的关键指标。

本文的所有测试都是在相同规格的实例下进行的，测试配置如下：

1. 测试方法：向量索引选择HNSW，检索最相似Top10的向量，对比百度云向量数据库与某开源向量数据库的QPS表现。
2. 测试规格：数据节点规格均为4核+8GB内存的配置，数据节点数量均为3个。
3. 数据集：测试SIFT128、COHERE768、GIST960三种维度的数据集，数据集大小均为100万。
4. 数据表配置：数据表均为1个分区/分片，分片副本数（含主副本）均为3。

测试结果

SIFT（128维）

128维数据集下，百度智能云VectorDB与某开源向量数据库的QPS对比结果如下图所示：

详细测试结果如下表所示：

数据集	索引类型	召回率	QPS
			某开源向量数据库	百度智能云VectorDB
SIFT_1M	HNSW（M=32，efConstruction=200）	95%	3269	22261（↑580%）
		98%	3200	18942（↑491%）
		99%	3055	14572（↑376%）

COHERE（768维）

768维数据集下，百度智能云VectorDB与某开源向量数据库的QPS对比结果如下图所示：

详细测试结果如下图所示：

数据集	索引类型	召回率	QPS
			某开源向量数据库	百度智能云VectorDB
COHERE_1M	HNSW（M=32，efConstruction=200）	95%	1508	11223（↑644%）
		98%	1037	5866（↑465%）
		99%	658	4138（↑528%）

GIST（960维）

960维数据集下，百度智能云VectorDB与某开源向量数据库的QPS对比结果如下图所示：

详细测试结果如下图所示：

数据集	索引类型	召回率	QPS
			某开源向量数据库	百度智能云VectorDB
GIST_1M	HNSW（M=32，efConstruction=200）	95%	958	2856（↑198%）
		98%	647	1632（↑152%）
		99%	503	926（↑84%）