术语表 / AI 数据库

AI 数据库

什么是 AI 数据库？

AI 数据库在人工智能和机器学习领域中能够有效地存储、处理复杂的数据。AI 数据库就像一个“无名英雄”，在底层默默处理海量结构复杂的数据并应对棘手的查询请求，为高难度的 AI 应用提供源源不断的动力。

AI 数据库就像 AI 和 ML 应用的引擎，专门语义相似性搜索而设计，擅长处理非结构化数据，尤其是 Embedding 向量（你可以把向量看作是数学空间中的数字序列）。你可以轻松存储这些 Embedding 向量，但向量计算就没这么简单了。这就是为什么我们需要像 Milvus 这样的向量数据库。Milvus 通过 GPU 加速提升了性能，从而保证 AI 数据流程能够顺畅运行。

AI数据库的关键特性和特点包括：

向量存储：使用向量（如 ML 模型生成的 Embedding 向量）表示高维数据，并进行高效查询。
灵活扩展：支持水平扩展，轻松应对 AI 应用不断增长的数据量。
支持复杂查询：配备复杂查询能力，处理相似性搜索、排名和模式识别等任务。
实时处理：优化实时或近实时处理，助力搭建推荐系统和聊天机器人等应用。
集成多种 ML 框架：使用您偏好的 ML 模型将非结构化数据转化为 Embedding 向量，并存储在 AI 数据库中。
高度灵活：可处理各种数据类型，包括结构化和非结构化数据，从而适应不断变化的搜索需求。
并行处理：借助并行处理和分布式计算的能力来应对语义搜索对计算能力的要求。

主流的 AI 数据库包括 Milvus 等向量数据库。AI 数据库针对高维空间的向量相似性搜索进行了优化，因此可以高效存储、获取和处理 AI 数据。

AI 数据库类型

市面上有多种类型的 AI 数据库可供开发者选择，用于存储和检索 Embedding 向量。以下是不同的 AI 数据库类型：

关系数据库：关系数据库系统擅长处理以表格（行和列）形式组织的、具有预定义的格式的结构化数据。关系型数据库非常适合要求精确搜索的场景。一些关系型数据库现已集成了 Faiss、HNSW、IVF_FLAT 等向量搜索索引，进一步增强了向量搜索能力。
向量数据库：向量数据库是专用于管理 Embedding 向量的数据库，适用于存储和检索非结构化数据，包括图像、音频、视频和文本内容等。使用向量数据库时，您需要先将非结构化数据用高维数值（即 Embedding 向量）表示。目前，市面上有众多开源向量数据库和 SaaS 产品可供选择。
其他数据库：NoSQL 数据库和搜索引擎数据库近来开始整合基本的向量搜索功能，提供处理向量相关任务的扩展功能。

所以，问题在于：不同类型的数据库让开发者选择最适合他们项目的。无论他们需要使用结构化数据进行精确搜索、有效管理向量嵌入，还是甚至使用NoSQL和搜索引擎数据库新发现的向量搜索功能——都是关于选择合适的工具来完成工作。

所以，归根结底，开发者需要根据其具体场景选择最合适的数据库。不论是需要对结构化数据进行精确搜索，还是有效管理 Embedding 向量，抑或是利用 NoSQL 数据库和搜索引擎的向量搜索扩展能力，本质问题就是选择合适的工具。

AI 数据库设计

基于所选的核心数据库，不同语义相似性搜索 AI 数据库的设计有着巨大差异。我们着重关注向量数据库，这些数据库专用于处理复杂的向量数据，并使用近似最近邻（ANN）算法等技术执行相似性搜索。这些向量数据库对推荐系统、聊天机器人、以图搜图系统、视频和音频搜索系统等应用至关重要。随着诸如 ChatGPT 此类的大语言模型（LLM）的兴起，向量数据库逐渐拓展其应用场景，可以有效解决 LLM 的幻觉（Hallucination）问题。

向量数据库关键特性包括：

可扩展性和可调性：开发人员构建的应用通常需要支持十亿级 Embedding 向量，因此能否通过多个节点进行横向扩展对于处理上亿或上十亿级非结构化数据至关重要。为了同时满足不同延迟、QPS和数据一致性要求的各种用例，向量数据库必须具有可扩展性和可调性。
多租户和数据隔离：支持多个用户是向量数据库必备功能，但为每个用户创建一个全新的向量数据库不切实际。因此，数据隔离可以有效确保一个 Collection 中的操作对系统的其余部分不可见。
完整的 API：向量数据库必须提供完整的 API 和 SDK，从而实现有效的通信和管理。例如，Milvus 提供了诸如Python、Node、Go 和 Java 等多语言 SDK。
直观的用户界面/管理控制台：直观的用户界面和管理控制台有效降低向量数据库入门门槛。

因此，出色的 AI 数据库应具备可扩展性和可调性、多租户能力与数据隔离、完整的 API，以及易用的操作界面和管理控制台。

Zilliz 是否提供 AI 数据库系统？

语义相似性搜索中使用的 AI 数据库本质上就是向量数据库。Zilliz 推出了 Zilliz Cloud——全托管的 Milvus 服务。Milvus 是一款开源向量数据库，其向量召回速度是同类产品的 10 倍以上，远超其他向量数据库系统。

灵活支持多种机器学习算法生成的 Embedding 向量
超高速度搜索任何大小的数据集
高性价比的向量存储服务
零运维成本