VectorDBBench——向量数据库性能测试工具

zilliz.com
测试方法复现并验证测试结果添加向量数据库系统问题反馈

VectorDBBench 提供多个主流向量数据库和云服务的性能测试结果，是客观对比不同向量数据库性能和性价比的不二之选。VectorDBBench 易于操作，即使是非专业人士也可轻松复现性能测试结果或测试新系统性能。使用 VectorDBBench，您可轻而易举从一众向量数据库云服务和开源向量数据库中做出最合适的选择。

立即使用 VectorDBBench，挑选最适合您的向量数据库。

向量数据库
  • Zilliz Cloud
  • Milvus
  • Elastic Cloud
  • PgVector
  • Pinecone
  • Qdrant Cloud
  • Weaviate Cloud
数据集
  • 中型数据集（2 个数据集：Cohere, 100 万 768 维向量；OpenAI, 50 万 1536 维向量）
  • 大型数据集（2 个数据集：Cohere, 1000 万 768 维向量；OpenAI, 500 万 1536 维向量）

标量过滤

数据集中需要过滤的标量字段占比。
  • 无
  • 低 (>=1%)
  • 高 (>=99%)

性能测试结果对比

性能排名表（QPS）可反映向量数据库的吞吐量，展示了主流向量数据库基于 QPS 和召回率的综合评分和排名。

性能排名表（P99 延时）可反映向量数据库的响应速度，展示了主流向量数据库基于 P99 延时和召回率的综合评分和排名。

性价比排名表通过对比主流向量数据库的价格，展示了向量数据库基于 QP$（每百万次查询所花费的价格）的性价比排名。

  • 性能排名（QPS）
  • 性能排名（P99 延时）
  • 性价比排名
排名

基于向量数据库的综合 QPS 评分进行排名。

向量数据库（不同硬件配置）
QPS 评分

综合评分体现向量数据库的搜索性能。具体详情请参见评分规则。

QPS/召回率中型数据集, OpenAI
无标量过滤

QPS/召回率中型数据集, OpenAI
低标量过滤

QPS/召回率中型数据集, OpenAI
高标量过滤

QPS/召回率中型数据集, Cohere
无标量过滤

QPS/召回率中型数据集, Cohere
低标量过滤

QPS/召回率中型数据集, Cohere
高标量过滤

1
ZillizCloud-8cu-perf-(Jan-2024)
100
5115.53 / 0.947
3685.077 / 0.974
4742.162 / 0.994
6054.443 / 0.916
4104.26 / 0.951
4252.127 / 0.996
2
ZillizCloud-8cu-perf
41.9361
1871 / 0.96
1583 / 0.984
2345 / 1
2884.689 / 0.88
1689.58 / 0.949
1517.679 / 1
3
Milvus-16c64g-hnsw
23.5105
722.032 / 0.976
599.421 / 0.996
2098.211 / 1
1258.704 / 0.98
1075.878 / 0.98
1494.849 / 1
4
ZillizCloud-1cu-perf-(Jan-2024)
15.7792
633.603 / 0.919
467.58 / 0.99
1509.329 / 1
873.371 / 0.948
571.426 / 0.967
1156.29 / 0.999
5
QdrantCloud-4c16g-5node
14.7192
626.524 / 0.995
434.406 / 0.918
975.25 / 0.994
789.123 / 0.94
544.62 / 0.977
930.916 / 0.997
6
ZillizCloud-2cu-cap-(Jan-2024)
10.967
503.228 / 0.968
413.323 / 0.981
730.7 / 0.959
579.942 / 0.921
467.179 / 0.97
596.794 / 0.969
7
Pinecone-p2.x1-8node
9.0181
379.972 / 0.982
303.8 / 0.948
584 / 1
537.498 / 0.89
425.253 / 0.969
431.751 / 1
8
ZillizCloud-2cu-cap
8.8043
322.7 / 0.948
303.255 / 0.988
526.885 / 1
536.073 / 0.973
372.047 / 0.89
427.523 / 1
9
Milvus-4c16g-disk
8.7228
321.605 / 0.989
287 / 0.987
445.329 / 1
516.27 / 0.946
354.842 / 0.98
411.765 / 0.997
10
ZillizCloud-1cu-perf
8.3082
297.5 / 0.974
240.036 / 0.982
425.549 / 0.994
392.883 / 0.958
343.82 / 0.968
397.054 / 1
11
ZillizCloud-1cu-cap-(Jan-2024)
5.9353
269.546 / 0.978
228.3 / 0.994
412 / 1
365.084 / 0.945
325.527 / 0.945
313.512 / 1
12
Milvus-2c8g-hnsw
5.7511
228.4 / 0.935
181.5 / 0.935
394.542 / 1
330.014 / 0.951
271.659 / 0.968
309.483 / 1
13
QdrantCloud-4c16g-1node
5.2012
188.644 / 0.918
179.003 / 0.994
218.063 / 0.994
274.541 / 0.981
236.567 / 0.981
216.677 / 0.997
14
ZillizCloud-1cu-cap
4.2493
180.276 / 0.994
155.699 / 0.917
205.7 / 0.959
261.798 / 0.926
189.44 / 0.889
216.523 / 1
15
Pinecone-p2.x1
4.1044
143 / 0.982
106 / 0.989
189 / 1
240.721 / 0.889
166.185 / 0.926
138.948 / 0.998
16
Pinecone-p1.x1
1.6747
67.63 / 0.806
63.35 / 0.807
176.7 / 1
100.667 / 0.991
101.14 / 0.991
121.717 / 0.969
17
Milvus-2c8g-disk
1.3607
46.862 / 0.996
37.07 / 0.998
81.192 / 1
67.912 / 0.991
42.486 / 0.874
75.706 / 1
18
Pinecone-s1.x1-2node
0.4735
43.502 / 0.996
17.327 / 0.996
45.067 / 1
63.137 / 0.991
20.299 / 0.929
52.261 / 1
19
Pinecone-s1.x1
0.3937
37.432 / 0.998
16.18 / 0.879
41.544 / 1
46.619 / 0.874
18.362 / 0.874
32 / 1
20
ElasticCloud-upTo2.5c8g
0.3891
16.34 / 0.879
15.13 / 0.807
36.11 / 1
20.744 / 0.929
15.175 / 0.989
30.136 / 1
21
WeaviateCloud-standard
0.2894
15.33 / 0.806
1.839 / 0.996
26.26 / 1
18.763 / 0.874
10.851 / 0.89
27.618 / 1
22
WeaviateCloud-bus_crit
0.2815
11.295 / 0.996
1.567 / 0.996
17.41 / 1
15.227 / 0.989
0.764 / 0.991
26.472 / 1
23
PgVector-2c8g
0.098
0.884 / 0.853
0.894 / 0.853
1.215 / 0.749
10.627 / 0.89
0.751 / 0.991
25.274 / 0.998

  • 排名：基于向量数据库综合 QPS 评分排名。

  • 评分：综合评分结果反映向量数据库的搜索吞吐量。具体详情请参见评分规则。

  • QPS：QPS 体现了向量数据库每秒可处理的并发查询量。QPS 越高，向量数据库性能越好

  • 召回率：召回率体现了向量数据库的搜索准确性。召回率越高，搜索结果越准确。

*除显式标注外，所有测试均在 2023 年完成。

Unavailable Data

请至少选择一个 .