CPU是否足够？在新型硬件上运行向量搜索的综述

向量搜索作为一项关键技术，已在从推荐系统到图像识别的众多应用中，实现了信息的快速准确检索。传统上，CPU一直是推动这些操作的主力。然而，随着数据量的激增以及对速度和效率的需求不断升级，问题出现了：CPU是否足以满足现代AI驱动搜索的日益增长的需求？

在Zilliz组织的2024年非结构化数据聚会上，Smile Identity的计算机视觉专家以及NeurIPS BigANN挑战赛的组织者（2021年，2023年）George Williams，探讨了CPU是否足以应对向量搜索/近似最近邻（ANN）。他探索了新的硬件解决方案如何能彻底改变向量搜索，强调了先进的搜索算法与尖端硬件的交汇，并对未来的数据检索技术提供了洞见。

在这篇博客中，我们将从演讲中提炼关键见解，检查NeurIPS BigANN竞赛的目标和成果，其中基于Zilliz的方法是获胜者之一。我们还将深入探讨实施向量搜索的实际挑战、推动效率和性能的创新，以及有望改变该领域的激动人心的新时代硬件。

**Neurips BigANN竞赛及Zilliz的角色和贡献**

NeurIPS BigANN竞赛旨在推动向量搜索技术领域的界限，鼓励研究人员和行业领导者之间的创新和合作。参与者的任务是开发解决方案，以最大化召回率、每秒查询数（QPS）、能效和成本效益，为向量搜索任务中的硬件性能提供全面评估。这些竞赛与ANN-Benchmarks项目等倡议合作组织，该项目提供了提交和评估向量搜索实现的平台，包括像Milvus这样的杰出解决方案。

竞赛有三个赛道，每个赛道旨在测试向量搜索性能的不同方面，如图一所示。

**图1. NeurIPS BigANN竞赛的三个赛道**

**赛道1：有限的硬件资源预算**

规格：参与者限于使用具有64 GB RAM的数据中心服务器。

标准：基于召回率对解决方案进行排名，强调在有限硬件资源的约束下检索最近邻的准确性。

**赛道2：增强的存储能力**

规格：参与者使用具有64 GB RAM和2 TB高吞吐量SSD的数据中心服务器。

标准：这个赛道同样关注召回率，但允许更广泛的存储能力，挑战参与者优化内存使用和存储性能，Zilliz在此赛道中获胜，如图2所示。Zilliz+SUST的方法在范围搜索数据集（SSNPP）中表现良好，获得了最高的召回率得分。这一胜利突显了Zilliz在开发针对现代硬件约束的高效向量搜索算法方面的专业知识和创新。我们将在下一节中描述Zilliz的方法。

**图2. Zilliz+SUST团队赢得第二赛道**

**赛道3：开放硬件**

规格：参与者可以使用任何硬件，前提是他们提供成本和监控功耗的证据。

标准：基于召回率、QPS、能效和成本的组合对解决方案进行评估，使这个赛道成为最全面和最具挑战性的。

这些赛道允许竞赛解决广泛的实际考虑，从优化有限资源到利用先进的硬件设置。通过这些评估，NeurIPS BigANN竞赛为向量搜索技术的现状提供了见解，并突出了该领域最有前途的进步。

**向量搜索中的优化和评估**

优化向量搜索需要多方面的方法，特别是在内存和SSD使用方面。Zilliz引入的关键创新之一是如图3所示的混合图聚类索引。这种方法通过以优化内存布局和访问模式的方式组织数据，从而提高向量搜索的效率，特别是对于SSD。通过将数据组织成页面对齐的桶，Zilliz确保全精度向量与其元数据一起存储，降低延迟并提高检索速度。这种方法不仅提高了性能，还最大化了SSD存储的利用率，这对于处理大型数据集至关重要。此外，Zilliz还专注于优化内存布局，以确保数据访问高效并与底层硬件能力对齐。这涉及精心构建数据以最小化访问时间并提高整体吞吐量，使他们的解决方案非常适合大规模向量搜索任务。

此外，Milvus 2.4的发布，这是他们开源向量数据库的最新版本，引入了几个突破性特性，如多向量支持、分组搜索和使用NVIDIA的CUDA加速图索引（CAGRA）的GPU索引。这些创新进一步展示了Zilliz的策略和承诺，即提高向量搜索性能和效率。

**图3. 混合图聚类索引和针对SSD优化的内存布局及访问**

**未来方向**

根据演讲者的说法，向量搜索的未来可能很快从依赖近似技术转向利用蛮力方法，同时仍然在短时间内完成。这种转变将由原始向量的日益可扩展性驱动，无需创建索引，标志着内存市场的重大演变。虽然专用芯片的生产成本高，需要大量的投资和时间来开发工具包——通常需要一年多的时间才能推向市场——商品化硬件可能成为常态。在这种情况下，软件需要进行重大调整以优化性能。介绍了芯片粒度的概念，最好的半导体技术由不同公司模块化设计，类似于软件开发。这种模块化方法允许在现有芯片上重用软件，使不熟悉芯片的个人能够设计出更便宜、更快的芯片。这可能成为许多公司的切入点，使先进的芯片设计更加易于访问和成本效益。

**结论**

硬件技术的快速发展为更高效、更强大的向量搜索能力铺平了道路。正如NeurIPS BigANN竞赛和Zilliz的贡献所展示的，先进硬件和创新算法的结合是数据检索技术未来的关键。虽然CPU几十年来一直是计算的支柱，但专用硬件解决方案的出现标志着一个新时代的到来，在这个时代，效率和性能至关重要。Zilliz，作为最广泛采用的向量数据库之一，专注于优化内存效率和最大化数据检索速度，利用先进的硬件能力，推动向量搜索技术的可能性。

关注Zilliz的Twitter账号@zilliz_universe和@milvusio，观看Zilliz YouTube频道上的大量富有资源的视频讲座和教程。

**资源**

- 增强应用程序功能：使用向量数据库优化搜索 - Zilliz博客

- Milvus：专为向量数据管理设计的系统

- Milvus 2.4揭示了增强向量搜索的突破性特性

- Milvus 2.4揭示了CAGRA：下一代GPU索引提升向量搜索 - Zilliz博客

- 单向量搜索Milvus文档

- 多向量搜索Milvus文档

- 推荐系统Milvus文档

- 如何评估和优化Milvus存储的性能 - Zilliz博客

**作者：Antony G.**