![Zilliz Cloud 再发新版本:性能提升超 10 倍,AI 应用开发流程再简化!](https://assets.zilliz.com/cms-cn/large_2_19_dc78b719af.png)
Zilliz Cloud 再发新版本!
本次新版本的主要内容包括:大幅提升的向量搜索性能(性能提升 10 倍以上)、企业级数据安全和无缝数据集成。新版本发布后,用户无需自定义代码,便可快速顺畅地完成非结构化数据处理和索引。此外,Zilliz Cloud 将有效帮助用户节省成本,简化支付和采购流程。
以下为本次发布的新特性一览:
Cardinal 搜索引擎
Zilliz Cloud 正式升级至 Milvus 2.3 版本
基于角色的访问控制和权限管理(RBAC)
Databricks Connector
支持 Google Cloud Marketplace 订阅
其他数据安全方面更新
01. Cardinal 搜索引擎:搜索速度提升 10 倍,数据容量提升 50%
Cardinal 是用现代 C++ 语言和实用的近似最近邻搜索(ANNS)算法构建的多线程、高效率向量搜索引擎。它同时能够处理暴搜请求和 ANNS 索引修改请求;处理各种数据格式,包括 FP32、FP16 和 BF16。Cardinal 搜索引擎强调速度和效率,能够在有限的资源内处理更多用户请求。
在推动 Cardinal 引擎创新的过程中,我们始终坚持推动异构计算的原则。团队对算法进行调优,采用了针对计算密集型操作优化的 low-level 内核,并确保支持多种硬件,包括 x86 和 ARM。Cardinal 利用 x86 的 AVX-512 扩展和 ARM 的 NEON 及 SVE 指令集等尖端技术,提供针对高效计算优化的代码。这些改进保证了 Cardinal 能够时刻全力运行,是行业内最快的向量搜索引擎。
有了 Cardinal 搜索引擎的加持,Zilliz Cloud 实现了 10 倍性能提升(与开源 Milvus 相比),能够实现超快的查询速度外加高召回率。无论是处理大型数据集还是对快速响应有高要求,Cardinal 都能为此保驾护航,提升用户体验,提升 AI 应用的竞争力。
“Zilliz Cloud 的性能给我们留下了深刻的印象,它在数据负载大的情况下尤为出色!”Picdmo 的 CEO 兼创始人Alex Alexander 称赞道,“采用 Cardinal 搜索引擎后,Zilliz Cloud 性能比上一个版本提升了 2 倍,搜索查询的速度和效率更惊人!此外,Zilliz Cloud 还提供增强数据安全保障。得益于 Zilliz Cloud,我们搭建的以图搜图应用功能变得更强大了。”
02. 开箱即用的 Milvus 2.3:生产就绪的高级向量搜索功能
经过为期 4 个月的 Beta 阶段后,Zilliz Cloud 正式上线了和 Milvus 2.3 相同的功能。目前,Zilliz Cloud 用户可以在生产环境中使用全新的高级向量搜索和数据管理功能。新版本功能包括:
- Cosine 相似度类型: 无需向量归一化,简化数据搜索流程。
- Upsert 数据:提升更新和删除数据的管理流程效率,适用于频繁更新数据且追求数据一致性和原子性的场景。
- 范围搜索(Range Search): 通过限制查询向量与其他向量之间的距离,范围搜索能够实现对搜索结果的有效细化,适用于搭建推荐引擎的场景。
- 支持 Parquet 文件:提升数据处理能力,支持 Parquet 文件,通过其高效的列式存储格式,提供更好的查询性能,适用于具有复杂数据集的场景。
- 支持 Array 数据类型:支持在搜索过程中基于多个属性进行精确的元数据过滤。在电商领域中,该功能支持根据不同产品标签进行搜索,为用户返回相关的搜索结果。
03. RBAC: 对数据访问进行细粒度的控制
Zilliz Cloud 的 RBAC(角色权限访问控制)功能提供了一种结构化和可扩展的方法来管理数据访问权限,保障数据安全。在过去的几个月中,我们新增了多项相关功能,进一步打磨了 Zilliz Cloud 的 RBAC 系统,使其比市面上所有向量数据库都更加细致和全面。
RBAC 分为两层:控制层和数据层。在控制层,角色管理集群、项目、用户和计费等资源的操作权限。Zilliz Cloud 在控制层设有 4 种角色,其中组织管理员、项目所有者和项目成员是 3 种常用角色:
- 组织管理员:拥有组织管理权限,包括管理组织设置、支付方式、账单、组织 API 密钥等。此外组织管理员还具备所有组织下资源(如:项目)的管理权限。
- 项目管理员:拥有项目管理权限,包括项目设置、项目内所有集群、项目 API 密钥等资源。
- 项目成员:拥有项目读写权限,包括读写项目下所有集群、查看项目下所有集群详情、管理 Collection 和索引等。
在数据层面,角色权限是指在集群中添加、删除、修改和访问数据的能力。Zilliz Cloud 在数据层级提供了 3 种内置角色:管理员(Admin)、只读(Read-Only)和读写(Read-Write),不同角色对集群数据的读写和管理权限不同。此外,Zilliz Cloud 允许用户创建自定义角色,针对特定 Collection、Partition 或操作分配相应权限,确保数据安全。
通过 RBAC 功能,企业用户可以实现对数据访问进行细粒度的控制,提高数据安全性和合规性,同时促进团队间的协作,并确保用户根据其角色和职责拥有对应的访问权限和级别。
04. Databricks Connector:简化 AI 应用的开发过程
Zilliz 一直致力于为用户提供开箱即用的数据集成解决方案,近期,我们便通过引入 Confluent 和 Airbyte Connector,扩展了 Zilliz Cloud 数据对接和转换能力。本次版本更新,Zilliz Cloud 再次放大招,集成 Databricks Connector,为 Zilliz 向非结构化数据平台的发展打下了坚实的基础。
具体来看,Databricks Connector 提供了一套简单的数据迁移和转换解决方案,简化了 AI 应用的开发过程。无论是你的团队在研究 ML 并希望更新 Embedding 模型,还是作为个人用户希望直接将 data frame 记录从 Spark 上传至Milvus,灵活的 Databricks Connector 都能一一满足。
此外,通过 Databricks Connector,用户就可以通过两种方式将数据导入到 Zilliz Cloud:流式处理(适用于实时更新)或批处理(适用于大型数据集)。访问链接 (https://zilliz.com/databricks_zilliz_demos)了解更多细节。
05. 支持 GCP Marketplace 订阅: 简化支付和采购流程
Zilliz Cloud 现已集成 GCP Marketplace,为开发者提供无缝的体验。用户可以直接用 Google Cloud 账号在 Marketplace 中购买 Zilliz Cloud,并根据自己的项目进展情况,按需扩展自己的集群并支付费用。此外,大家可以在 Zilliz Cloud 的操作界面中设置 GCP Marketplace 作为支付方式,或直接通过 GCP Marketplace 订阅。
06. 其他数据安全方面更新
Zilliz Cloud 已经通过了 SOC 2 Type II 和 ISO 27001 数据合规认证。我们始终致力于维持最高数据安全标准,为用户在 Zilliz Cloud 的体验保驾护航。
立即注册 Zilliz Cloud(https://cloud.zilliz.com.cn/signup)即可享受 30 天免费试用。如果在使用过程中遇到任何问题,欢迎通过 Zilliz Cloud 支持中心(https://support.zilliz.com.cn/hc/zh-cn)联系我们。
技术干货
向量搜索和RAG - 平衡准确性和上下文
Zilliz的开发者倡导者Christy Bergman,拥有丰富的AI/ML经验,最近在非结构化数据聚会上讨论了这些幻觉的影响以及它们如何影响AI系统的推出。
2024-07-26技术干货
Milvus 跨集群数据迁移
将 milvus 数据从 A 集群(K8S集群)迁到 B 集群(K8S集群),解决方案很多,这里提供一个使用官方 milvus-backup 工具进行数据迁移的方案。
2024-08-08技术干货
如何实现 Delivery Hero 的 AI 生成图像安全系统
在应用程序中附有图像的产品比没有图像的产品更频繁地被订购。具体来说,86% 在应用程序上订购的产品附有图像。在进行 A/B 测试后,他们还发现仅通过为产品添加图像,转化率就增加了 6-8%。这一发现意味着产品图像是顾客在Delivery Hero 应用程序上订购食品之前的关键因素之一。
2024-07-26