VectorDBBench——向量数据库性能测试工具

VectorDBBench 提供多个主流向量数据库和云服务的性能测试结果,是客观对比不同向量数据库性能和性价比的不二之选。VectorDBBench 易于操作,即使是非专业人士也可轻松复现性能测试结果或测试新系统性能。使用 VectorDBBench,您可轻而易举从一众向量数据库云服务开源向量数据库中做出最合适的选择。

立即使用 VectorDBBench,挑选最适合您的向量数据库

向量数据库
  • Zilliz Cloud
  • Milvus
  • PgVector
  • Elastic Cloud
  • Pinecone
  • Qdrant Cloud
  • Weaviate Cloud
数据集
  • 中型数据集(2 个数据集:Cohere, 100 万 768 维向量;OpenAI, 50 万 1536 维向量
  • 大型数据集(2 个数据集:Cohere, 1000 万 768 维向量;OpenAI, 500 万 1536 维向量)

标量过滤

数据集中需要过滤的标量字段占比。
  • 低 (>=1%)
  • 高 (>=99%)

性能测试结果对比

性能排名表展示了主流向量数据库的性能排名、综合评分、QPS 和召回率。性价比排名表展示了主流向量数据库的价格排名、QP$(每百万次查询所花费的价格)和价格/性能比。

  • 性能排名
  • 性价比排名
排名

基于向量数据库的综合性能评分排名。

向量数据库(不同硬件配置)
评分

综合评分体现向量数据库的搜索性能。具体详情请参加评分规则

QPS/召回率中型数据集, OpenAI
无标量过滤

QPS/召回率中型数据集, OpenAI
低标量过滤

QPS/召回率中型数据集, OpenAI
高标量过滤

QPS/召回率中型数据集, Cohere
无标量过滤

QPS/召回率中型数据集, Cohere
低标量过滤

QPS/召回率中型数据集, Cohere
高标量过滤

1
ZillizCloud-8cu-perf
100
1871 / 0.96
1583 / 0.984
2345 / 1
2884.689 / 0.88
1689.58 / 0.949
1517.679 / 1
2
Milvus-16c64g-hnsw
56.0628
633.603 / 0.919
599.421 / 0.996
2098.211 / 1
1258.704 / 0.98
1075.878 / 0.98
1494.849 / 1
3
QdrantCloud-4c16g-5node
35.0992
626.524 / 0.995
434.406 / 0.918
1509.329 / 1
579.942 / 0.921
467.179 / 0.97
1156.29 / 0.999
4
Pinecone-p2.x1-8node
21.5045
379.972 / 0.982
303.8 / 0.948
730.7 / 0.959
537.498 / 0.89
425.253 / 0.969
596.794 / 0.969
5
ZillizCloud-2cu-cap
20.9947
322.7 / 0.948
303.255 / 0.988
584 / 1
536.073 / 0.973
372.047 / 0.89
431.751 / 1
6
Milvus-4c16g-disk
20.8002
321.605 / 0.989
287 / 0.987
526.885 / 1
516.27 / 0.946
354.842 / 0.98
427.523 / 1
7
ZillizCloud-1cu-perf
19.8116
297.5 / 0.974
228.3 / 0.994
445.329 / 1
365.084 / 0.945
325.527 / 0.945
397.054 / 1
8
Milvus-2c8g-hnsw
13.7139
228.4 / 0.935
181.5 / 0.935
412 / 1
330.014 / 0.951
271.659 / 0.968
313.512 / 1
9
QdrantCloud-4c16g-1node
12.4027
188.644 / 0.918
179.003 / 0.994
394.542 / 1
274.541 / 0.981
236.567 / 0.981
309.483 / 1
10
ZillizCloud-1cu-cap
10.1329
180.276 / 0.994
155.699 / 0.917
205.7 / 0.959
261.798 / 0.926
189.44 / 0.889
216.523 / 1
11
Pinecone-p2.x1
9.7872
143 / 0.982
106 / 0.989
189 / 1
240.721 / 0.889
166.185 / 0.926
138.948 / 0.998
12
Pinecone-p1.x1
3.9933
67.63 / 0.806
63.35 / 0.807
176.7 / 1
100.667 / 0.991
101.14 / 0.991
121.717 / 0.969
13
Milvus-2c8g-disk
3.2446
46.862 / 0.996
37.07 / 0.998
81.192 / 1
67.912 / 0.991
42.486 / 0.874
75.706 / 1
14
Pinecone-s1.x1-2node
1.129
43.502 / 0.996
17.327 / 0.996
45.067 / 1
63.137 / 0.991
20.299 / 0.929
52.261 / 1
15
Pinecone-s1.x1
0.9388
37.432 / 0.998
16.18 / 0.879
41.544 / 1
46.619 / 0.874
18.362 / 0.874
32 / 1
16
ElasticCloud-upTo2.5c8g
0.9279
16.34 / 0.879
15.13 / 0.807
36.11 / 1
20.744 / 0.929
15.175 / 0.989
30.136 / 1
17
WeaviateCloud-standard
0.6901
15.33 / 0.806
1.839 / 0.996
26.26 / 1
18.763 / 0.874
10.851 / 0.89
27.618 / 1
18
WeaviateCloud-bus_crit
0.6712
11.295 / 0.996
1.567 / 0.996
17.41 / 1
15.227 / 0.989
0.764 / 0.991
26.472 / 1
19
PgVector-2c8g
0.2337
0.884 / 0.853
0.894 / 0.853
1.215 / 0.749
10.627 / 0.89
0.751 / 0.991
25.274 / 0.998

排名: 基于向量数据库的综合性能评分排名。

评分: 综合评分结果反映向量数据库的向量搜索性能。具体详情请参加评分规则

QPS: QPS 体现了向量数据库每秒可处理的并发查询量。QPS 越高,向量数据库性能越好。

召回率: 召回率体现了向量数据库的搜索准确性。召回率越高,搜索结果越准确。

Unavailable Data

请至少选择一个 .