博客
一次解决三大成本问题，升级后的 Zilliz Cloud 如何造福 AIGC 开发者？

一次解决三大成本问题，升级后的 Zilliz Cloud 如何造福 AIGC 开发者？

2023-07-06

By 栾小凡

一次解决三大成本问题，升级后的 Zilliz Cloud 如何造福 AIGC 开发者？

在昨天的文章中，我分享了在 Zilliz Cloud 的开发和设计过程中的一些思考及对全托管向量检索服务的未来判断《如何设计一个面向开发者全生命周期成本的全托管向量检索服务产品？》。

今天我想从性能层面聊聊 Zilliz Cloud 为什么是 AIGC 开发者不可或缺的向量检索&存储的利器。

对于应用开发而言，成本问题向来是企业和开发者关注的重点，更迭迅速、变化莫测的 AIGC 时代更是如此。这里的成本既指软件开发成本，也包括硬件成本、维护成本。Zilliz Cloud 可以一次性解决这三大问题，帮助开发者降低开发成本、优化硬件成本、减少维护成本。

降低开发成本

面对 AIGC 浪潮，易用性和开发速度对应用开发者至关重要，因为许多公司的首要优先级是尽快推出产品以占据市场先机。Zilliz Cloud 支持了动态 Schema、OpenAPI、多租户 Partition key 等能力，并全面更新了 Python，Golang，Java 和 NodeJs 客户端，大大降低了开发的成本。

动态 Schema：Zilliz Cloud 支持了新的数据类型 JSON，并基于 JSON 提供了动态 schema 能力。面对复杂业务，传统数据库需要频繁的进行 schema 变更，而 JSON 的支持允许用户更加灵活的存储数据。同时，我们也支持了基于表达式对于 JSON 字段进行过滤以及对表达，使得 JSON 具备了跟传统数据格式相同的能力。

Restful 接口：RESTful API 使用标准的 HTTP方法，如 GET、POST、PUT、 DELETE 等，使得接口的使用变得直观和简单。除了支持 Milvus 的 DDL 和 DML 之外，Zilliz Cloud 的 RESTful 接口也支持集群管理功能，满足用户代码化创建/删除集群并完成扩缩容。

多租户 PartitionKey：AIGC 场景下，构建多租户 SaaS 应用是一类典型场景需求。数据本身需要具备隔离性，查询时往往需要指定租户，而租户本身可以代表一个组织、一个用户或者一个会话。传统数据库要么支持以表为单位的逻辑隔离，要么支持通过数据模型增加特殊字段进行逻辑隔离并在查询时进行过滤。Zilliz Cloud 创造性地支持了逻辑 PartitionKey，每一个 Partition 通过物理+逻辑两重模式隔离，既能保证支持千万级别的租户数目，又保证了对某个具体租户进行查询时性能足够高效。

智能索引 2.0: 对于用户而言，向量检索的一大挑战是选择合适的索引和索引参数。在 Zilliz Cloud 中我们推出了AutoIndex，帮助用户规避了复杂的理解和选型成本。升级后的 Zilliz Cloud 更进一步，基于用户的数据分布进行更加智能的调优，大幅优化了大数据量下的查询性能。

支持 API Key 访问：Zilliz Cloud 过去一直使用账户密码访问，升级后的 Zilliz Cloud 将同时支持 API Key 和账户密码两种访问方式。API key 相对而言更易用更安全，也更符合开发者的使用习惯。

优化硬件成本

向量数据库大范围在生产环境中使用的另一大阻碍就是存储成本和查询成本。在大规模的数据集上，稠密向量（DenseVector）检索需要大量的随机读写访问，这对于传统的磁盘存储引擎来说是非常困难的。在大多数情况下，为了提高效率，我们需要将这些数据存储在内存中，这无疑增加了存储的成本。

另一方面，对于稠密向量的距离计算，计算成本也非常高。因为它需要大量的算力来进行复杂的计算，如欧几里得距离或者余弦相似度等。因此，向量数据库不仅是一个算力密集型应用，也是一个内存密集型应用。

Zilliz Cloud 升级版本也包含了大量面向硬件成本的优化，这些优化不仅仅面向实验室跑分，更是帮助用户在生产环境中真正能够做到“存的起，查得出”。

性能优化：标量过滤功能是用户使用最频繁的功能之一，新版本版本引入了标量过滤向量化执行，将单次标量过滤的时间从 2ms 降低至 0.5ms 以下。同时，通过引入基于代价评估的多种执行计划，解决了大量数据过滤时的图联通性问题，部分场景下过滤性能提升超过 50 倍。

成本优化型实例：升级后的 Zilliz Cloud 针对 AIGC 场景下数据量大而对访问延迟不敏感的用户推出了成本优化型实例。存储 500 万 768 维向量数据仅需 65 美元，且查询性能比竞品高出 10 倍以上。

全面降价：为将产品技术红利回馈客户，随着产品规模化和池化能力的不断增强，我们全面下调了 Zilliz Cloud 企业版价格。此外，我们还推出了标准版实例，价格仅为企业版的 65%，以进一步降低用户的硬件使用成本。

Vector DB Bench ：为了帮助用户选型向量数据库并推动行业发展，我们将 Zilliz 内部的性能 Benchmark 工具开源。这个工具内置了众多数据集以及各种向量数据库的连接器，以便用户能迅速了解并对比不同向量数据库的性能和功能。我们诚邀大家贡献更多的数据集和测试场景，期待向量检索也能拥有像 TPC-C，TPC-H 等权威的测试基准标准。

了解更多关于 Vector DB Bench 的内容可参考《向量数据库的行业标准逐渐清晰！Vector DB Bench 正式开源！》。

减少维护成本

维护成本常常是人们容易忽视的一项重要开销。在向量数据库发展的早期阶段，用户主要关注的是功能是否达到预期和开发的速度，却常常忽视了产品上线后的容量规划、如何进行升级、容灾策略以及数据安全保障等关键问题，这些都是在实际应用中不能忽视的重要方面。Zilliz Cloud 作为面向企业级的云服务，我们希望能够考虑在用户之前，帮助用户解决维护的后顾之忧，更加专注于业务本身。

Serverless 实例：Zilliz Cloud 推出了全新的 Serverless 实例 Beta 版本，目前免费提供给用户使用，提供最多 2 个 Collection 以及 100 万 768 维数据的存储能力。Serverless 是我认为向量数据库的最终形态，它不仅降低了使用者进行容量评估的心智成本，同时也降低了向量数据库的使用价格门槛，这对于 AIGC 的广大个人开发者和小用户无疑是非常友好的。在后续的版本中，Serverless 还将继续迭代，向用户提供按需计费的能力以及更好的弹性和隔离性。

Organization: 组织和项目的管理能力是我们收到 Zilliz Cloud 用户反馈最多的需求之一。组织功能的上线意味着大企业多用户的管理，协作能力大幅增强，Zilliz Cloud也同时提供了组织内部面向 Role based 权限管理能力，可以帮助组织内部的管理员更好地分配资源和权限。