博客
关系数据库与向量数据库

关系数据库与向量数据库

2024-11-05

By Chris Churilo

数据库长期以来对应用程序性能提出了挑战，通常需要大量的微调。作为回应，新的数据库设计出现，以提高可扩展性、性能和开发人员生产力，简化了特定类型应用程序的创建。

尽管如此，这些新的数据库解决方案也有其权衡。每种设计都涉及妥协，在获得某些优势的同时牺牲了其他优势。了解这些选项及其权衡对于选择最适合您需求的工具至关重要。在本文中，我们将探索向量数据库，并与传统关系数据库进行比较，帮助您做出明智的决策。

为什么为您的应用程序选择专门的数据库？

近年来，针对特定用例量身定制的数据库激增：

图数据库：设计用于高效存储和分析高度连接的数据，图数据库在管理数据点之间的关系（知识图谱）方面表现出色。
搜索引擎数据库：这些数据库处理非结构化或半结构化数据，并针对快速、高效的搜索和查询进行了优化。
时间序列数据库：针对高写入吞吐量和基于时间的查询进行了优化，时间序列数据库处理频繁且大规模的时间戳数据条目。
键值数据库：以其高性能和可扩展性而闻名，键值数据库将数据存储为简单的键值对，没有额外的元数据，使其成为快速读写操作的理想选择。
内存数据库：这些数据库将数据存储在RAM中而不是磁盘上，消除了磁盘访问延迟，显著提高了性能。
向量数据库：这些数据库构建用于存储向量嵌入，并针对处理计算密集型语义搜索进行了优化。

虽然关系数据库（RDBMS）在市场份额上仍然占据主导地位，但专门构建的数据库迅速获得关注，向量、时间序列、键值和图数据库在过去两年中增长最为显著。

向专门数据库的转变是由对性能和高级功能的需求增加所驱动的，用户期望软件能够满足领先科技公司设定的高标准。此外，微服务架构的兴起促进了专门数据库的采用。微服务独立部署且相互抽象，允许团队选择特定应用程序功能的最佳工具，而无需广泛了解其他服务的技术。

然而，将另一个数据库集成到架构中会增加复杂性。评估专门数据库的优势是否超过成本和复杂性至关重要。在做出将长期影响您的应用程序的决策之前，彻底评估利弊是必要的。

“实际上，实现一个支持各种工作负载和应用程序的统一数据管理系统是具有挑战性的。将其与汽车工业进行比较，我们无法想象一辆服务于所有目的的单一车辆——SUV、卡车、轿车和校车都是为特定功能而设计的。同样，在数据库世界中，系统针对不同需求进行了优化，一刀切的解决方案是不太可能的。未来在于开发更多针对特定需求量身定制的专门数据库。虽然我们可能会看到统一的接口或SDK与不同的数据库系统交互，但趋势将继续朝着越来越专门的解决方案发展。” —— Charles Xie，Zilliz的创始人兼首席执行官。

关系数据库概述

关系数据库，也称为传统数据库，是多功能工具，以表格格式管理数据。这种结构，组织成行和列，使得数据存储和检索高效，通常在磁盘上管理。SQL的使用进一步增强了它们的多功能性，支持广泛的查询。这种适应性使得关系数据库适合各种应用程序。它们特别重视能够通过预定义模式强制数据集之间的结构化关系，确保数据一致性和完整性。

数据存储：行和列

关系数据库使用行和列的系统排列来存储数据。每一行代表一个单独的记录，每一列代表一个数据字段或属性。这种有组织的格式便于访问和管理数据，允许用户高效地导航数据存储并在数据库中更新信息。

查询能力

结构化查询语言（SQL）是关系数据库的一个关键特性，使用户能够制定精确的查询来提取和操作复杂数据。SQL为过滤、排序和检索数据提供了一个强大的框架，使得在大型数据集上执行复杂搜索和操作变得容易。通过使用SQL，用户可以快速识别相关信息，并根据特定标准生成详细报告。

ACID属性

关系数据库事务受四个关键属性的约束，称为ACID：原子性、一致性、隔离性和持久性。原子性确保事务的所有方面都作为一个整体完成，不留下部分更新。一致性维护数据的完整性，确保事务导致有效状态。隔离性防止事务相互影响，直到它们完全提交，从而避免冲突。最后，持久性保证一旦事务提交，更改就是永久的，即使在系统故障的情况下也是如此。

向量数据库概述

那么，什么是向量数据库？在核心上，向量数据库是一个专门系统，旨在通过利用其向量表示和嵌入来处理非结构化数据。这种方法允许快速检索语义信息和高效的相似性搜索。

向量数据库在现代AI生态系统中至关重要，特别是在检索增强生成（RAG）中。RAG通过集成外部知识来增强大型语言模型（LLMs）的性能，这有助于减少AI幻觉并提高生成响应的准确性。这些数据库管理和检索LLMs用于产生更可靠答案的上下文信息。

它们在各个领域都有广泛应用，包括聊天机器人、推荐系统以及图像、视频和音频检索等多媒体搜索。

向量数据库与关系数据库

传统的关系数据库擅长管理结构化数据，使用预定义模式，并在表格数据格式中进行精确搜索。相比之下，向量数据库具有独特的能力，可以处理图像、音频、视频和文本等非结构化数据，通过将这些数据类型表示为高维向量，开辟了可能性的世界。与使用行和列的关系数据库不同，向量数据库将数据存储为具有多个维度的向量，并根据相似性对它们进行聚类。

虽然像MySQL和PostgreSQL这样的关系数据库长期以来一直是许多开发人员的首选，但行业正明显转向将向量搜索功能整合到这些系统中。例如，PostgreSQL用户越来越多地转向Pgvector来满足他们的向量数据库需求，这标志着数据库领域日益增长的趋势。

为了支持基于向量的操作，关系数据库通常添加了像HNSW（层次导航小世界）这样的索引技术，以在向量空间中执行近似最近邻搜索。这对于在AI驱动的应用程序中找到相似项目至关重要。此外，这些数据库还提供与传统数据一起存储的向量存储，并保持SQL兼容性，允许用户使用熟悉的SQL命令来管理和查询向量数据。

然而，与Pgvector不同，Pgvector不是完整的向量搜索引擎，而是PostgreSQL数据库的插件，专门的向量数据库如Milvus和Zilliz Cloud从一开始就是为了管理和查询数十亿高维向量而构建的，具有近实时性能。这些专门的数据库利用先进的索引技术高效处理相似性搜索，为基于相似性的操作提供卓越的性能，并支持大规模向量数据管理。它们还提供了为AI和机器学习应用程序量身定制的强大API，使它们非常适合复杂和大规模的向量数据需求。

为什么向量索引很重要

在原型设计阶段，将所有数据加载到内存中以进行更快的处理和更简单的开发是常见的。然而，随着数据在生产中的扩展，由于以下原因，这种方法变得不切实际：

内存限制：内存既有限又比磁盘存储更昂贵。
容量问题：大型数据集可能超出可用内存。
性能影响：将所有数据存储在内存中可能会增加启动时间和资源消耗。

为了在生产中高效处理大型数据集，选择正确的索引策略至关重要且意义重大。适当的向量索引通过平衡查询速度、存储需求和延迟，优化您的检索增强生成（RAG）应用程序的性能。下图有助于根据三个关键指标可视化不同索引的性能，强调您在过程中的作用。

Indices_Milvus_supports_90b336ba26.png

Milvus支持的索引

每秒查询数（QPS）：衡量索引每秒处理查询的能力，表明吞吐量和效率。
存储：反映索引所需的磁盘空间，影响基础设施成本和可扩展性。
延迟：代表处理和返回查询结果的时间，影响应用程序的响应能力。

通过比较这些指标，您可以选择最适合您的用例和性能需求的索引。

Milkus提供了一个灵活的索引选择框架，适用于各种存储和性能需求：

GPU索引：适用于高性能环境，支持快速数据处理和检索。
内存索引：在性能和容量之间提供平衡，适合每秒查询数（QPS）率，并可扩展到平均延迟约十毫秒的数TB存储。
磁盘索引：处理数TB数据，延迟约100毫秒，适合更大、时间敏感性较低的数据集。Milkus是唯一支持磁盘索引的开源向量数据库。
交换索引：在S3或其他对象存储和内存之间促进数据交换，将成本降低约十倍，同时管理延迟。典型的访问时间约为100毫秒，但可以扩展到几秒钟，适用于不经常访问的数据，适合离线使用和成本敏感的应用程序。

在选择索引后，根据构建时间、准确性、性能和资源使用情况评估其性能。例如，未经优化的索引可能只支持每秒20个查询，而经过优化的索引可以在每次调整迭代中将QPS提高十倍，尽管这也可能增加构建时间。

为了有效地选择和微调您的索引：