众所周知，AI 三要素包括:算力、算法和数据。向量数据库作为一种专门用于存储和检索向量数据的数据库系统，是将非结构化数据转化为机器可以理解的语义的关键所在。随着AI 尤其是大模型技术的快速发展向量数据库的价值也愈发凸显了出来。

large_24.webp

medium_24.webp

small_24.webp

thumbnail_24.webp

24.webp

据，是数字时代的石油。

根据 IDC 预测:到2025年，全球数据总量中将有超过80%的数据是非结构化数据。向量数据是非结构化数据的抽象数学表达，向量数据库顾名思义就是专门处理向量数据的数据库。

向量数据库，不只是「大模型的海马体」——对话Zilliz创始人星爵

星爵先生是 Zilliz 的创始人兼首席执行官。（作为向量数据库头部公司的Zilliz截至2023年，累计完成了1.13亿美元的融资。）全球最流行的面向 AI 应用场景的开源向量数据库系统 Milvus 的发明人。

北京时间2024年3月11日下午12:30， World Science Hill独家专访了Zilliz 的创始人兼首席执行官，全球最流行的面向 AI 应用场景的开源向量数据库系统 Milvus 的发明人星爵先生。

![new1.webp](https://assets.zilliz.com/cms-cn/new1_fc69bbddd8.webp)

World Science Hill创始人Mia王璟晗独家专访星爵先生视频截图

**【本期人物专访】星爵**

![zhaop.webp](https://assets.zilliz.com/cms-cn/zhaop_a8c2beb3b2.webp)

星爵先生是 Zilliz 的创始人兼首席执行官。（作为向量数据库头部公司的Zilliz截至2023年，累计完成了1.13亿美元的融资。）全球最流行的面向 AI 应用场景的开源向量数据库系统 Milvus 的发明人。星爵先生自2020年起担任 Linux Foundation AI & Data 基金会董事，并于 2020 年至 2021 年期间出任董事会主席。在创立 Zilliz 之前，星爵先生于甲骨文美国总部任职，是全球首个云端多租户数据库系统 Oracle 12c 的奠基人之一。星爵先生拥有威斯康星大学麦迪逊分校计算机科学硕士学位、华中科技大学学士学位。

**1.能否简单介绍一下您和您的团队最近正在做的工作？**

![new3.webp](https://assets.zilliz.com/cms-cn/new3_0c94c80d26.webp)

随着AI的浪潮涌现，非结构化数据处理这一需求对现代数据库提出了全新的要求，我们也尽力满足用户的这些要求。

具体来说有两个方面，一是把向量数据库的非结构化数据这方面的成本在未来的一年内降低10倍以上，在未来三年降低100倍以上，从而让我们的数据库在所有的企业得到更大规模的部署，让更多的人用起来。二是提高数据库的检索精度，以符合部分客户公司业务对于精度的特定要求，从而增加更多的应用产品。

![new4.webp](https://assets.zilliz.com/cms-cn/new4_230357c58c.webp)

**2.相信有很多我们的读者都是第一次听说向量数据库这个概念，能否请您做简单的介绍，向量数据库和普通的数据库有什么区别呢？**

![new5.webp](https://assets.zilliz.com/cms-cn/new5_906f4eab8c.webp)

向量数据库与普通数据库的区别主要在以下几点。

第一就是它们所处理数据的类型不一样。向量数据库处理的海量的非结构化数据，包含我们日常的图片、视频、语音、文本等等。而传统的数据库系统主要处理的则是结构化数据，结构化数据主要就是一些比较简单的数字、字符串这些。

所以，向量数据库在语义理解上，需要通过AI模型去挖掘，从而将非结构化数据转化为高维的向量。无论是图片还是视频，多模态的AI模型都可以相应地输出中间层的特征，完成对语义的理解和编码，这在传统数据库中是没有的。

![new5.1.webp](https://assets.zilliz.com/cms-cn/new5_1_07bd609582.webp)


第二个不同点在于所服务的场景和应用领域。向量数据库是为广大的AI开发者和如今的这个AI时代量身定做的，尤其是其中对图片、视频、文本的语义理解让很多相关的AI应用受益匪浅。我们服务的主要包括大语言模型、视频理解、图片查找、基于AI的推荐系统等等。

相比较而言，传统数据库系统诞生在四五十年前，更多地是为IP时代以及数据的信息化去服务的，因此它们主要服务的产品包括这种像 ERP、CRM系统等传统任务。

这两大区别也就必然导致了第三点，产品技术路线与设计方面，我们与传统数据库有着根本上的不同。所以在2018年作为全球第一家向量数据库厂商开始做相关向量数据库产品的第一天开始，我们从存储、调度、执行引擎，包括分布式、数据的一致性等等。

在每一个层面上 from scratch 地去建造这样的一个系统，并去满足这些相应地性能要求。由于非结构性数据的量特别大，所以数据库的性能和可扩展性都成为了一个很大挑战，向量数据库所服务的这些AI原生的场景，也让我们开始思考如何去满足广大用户对视频处理、自然语言处理、图片检索等方面的需求。基于多方面的原因，我们在技术和架构上也与传统的数据库系统有着本质的区别。

**3.在您看来，数据库在我们的日常生活中都有哪些领域的应用，在科学发展中数据库又扮演了什么样的角色？**

![new7.webp](https://assets.zilliz.com/cms-cn/new7_c8aacaccd1.webp)

现在对于向量数据库，大家可能感知不那么明显，但其实它已经在很多方面影响着我们的生活了。举个例子来说，我们有很多用户平时会使用由大语言模型所支持的知识发现以及聊天的一些工具，比如ChatGPT、Perplexity，这样问答系统的背后其实都有着向量数据库的身影。通过 retrieval augmented generation 的方式，我们可以把自己的一些领域知识以及我们的一些个人喜好提供给大语言模型的问答系统，从而得到更精准的回答，来帮助大语言模型去消除其 hallucination。

在这些深层次的对话管理中，对于上下文的保存其实也是通过向量数据库的技术在后台实现的。如今大语言模型的进展日新月异，还涌现了像Sora这样视频生成模型。从科学认知层面来讲的话，这些大模型它的训练、调优，以及每次迭代中，也都离不开向量数据库通过百亿甚至千亿级别的语料和视频的分析比对。

![new8.webp](https://assets.zilliz.com/cms-cn/new8_a08299a65a.webp)


甚至在生命科学、生物制药的领域，向量数据库在过去五年中一直发挥着很重要的作用。很多药厂的药物研发团队和科研机构会去分析小分子的三维结构，还有蛋白质的三维折叠的几何结构，和人类基因序列的结构，这三种数据都是比较复杂的非结构化数据，因为它们的结构会影响到生物活性以及药理作用，所以我们会用AI模型把这些蛋白质的三维几何结构变成高维空间中的 embedding，然后通过embedding来关联结构属性与生物活性，从而完成对药物的筛选。

我们看到越来越多的AI药物筛选方向的实验室，都会通过向量数据库的方式来先行在电脑上用AI模型做虚拟药物筛选，从上百亿的备选药物中找到一些潜在机会或者结构去进一步推动下一步的药物筛选，迅速加快新药发现的流程。

**4.您和您的团队在设计数据库的过程中，是如何打造灵活的数据处理功能，并防止出现个人信息的泄漏或者误用呢？**

![new9.webp](https://assets.zilliz.com/cms-cn/new9_490a7c8041.webp)

事实上，从我们做产品的第一天起，我们就把数据安全作为一个重中之重。包括我们开源的 Milvus系统，它是全球最为广泛使用的向量数据库系统，现在全球有5000多家企业在每天的生产环境里面运行我们的Milvus系统，现在在全球也达到了2000多万的安装以及超2500万的下载量。

我们从第一天起就在开源的 Milvus 系统中设计了数据的访问控制与权限管理等一系列面向数据安全的功能，在数据传输层我们也支持像HTTPS这样的数据加密传输协议等等。在我们的商业化产品 Zilliz Cloud 中，我们也从第一天就开启了数据合规和数据安全的治理，我们很早就通过了SQL的compliance，现在也即将完成GDPR的compliance。

![new10.webp](https://assets.zilliz.com/cms-cn/new10_ded8a72a79.webp)

在安全方面，我们做了基于SSO的质量认证，包括数据链路层的这种全面加密，和在分库分表甚至是在记录级别的这种访问控制与权限等等。总的来说，我们从一开始就致力于打造一个不仅可靠，而且安全的数据库系统。

**5.能否分享一个在设计向量数据库过程中，让您印象最深刻的一件事呢？**

我们是从2018年开始做这个向量数据库的，尚在前一个AI时代的我们预见到了如今的新一代生成式AI对于非结构化数据处理的需求，就决定开始做向量数据库系统，相比于现在成为了风口上的明星品类，当时的困难不胜枚举，事实上在18年的时候我们还并不被太多人了解。

![new11.webp](https://assets.zilliz.com/cms-cn/new11_b28172a138.webp)

起初，我们在团队招聘的过程中遇到了很多困难。在工程师的圈子里面，认同向量数据库的人不多。甚至了解非结构化数据处理的，也不是很多。在发展一些初期用户的时候也是特别艰难的。用户不理解使用数据库系统的必要性。我们需要和他们的运维团队和工程师做大量的沟通。

另一个困难在于融资方面，我们见了很多投资人，也有很多投资人对这个赛道感兴趣，但因为是一个新兴行业，他们很难踢出最后的临门一脚。

![new12.webp](https://assets.zilliz.com/cms-cn/new12_f89f4d1e8e.webp)


总而言之，我们的感悟就是，如果要做一个从底层的面向于未来的一个创新，你需要有耐心，也要有坚持。遇到的困难来说的话可能比你想象的都要大，我们一路走来，也经历了许多的痛苦时刻。

虽然说最近一两年向量数据库这个领域比较火。但是我们也始终能够保持一个平静的心态，因为从长期来讲，我们希望在未来能够在人类通向AGI的过程中提供一个长期的价值。




large_new1.webp

medium_new1.webp

small_new1.webp

thumbnail_new1.webp

new1.webp

北京时间2024年3月11日下午12:30， World Science Hill独家专访了Zilliz 的创始人兼首席执行官，全球最流行的面向 AI 应用场景的开源向量数据库系统 Milvus 的发明人星爵先生。

独家专访Zilliz创始人兼CEO星爵先生：论向量数据库在大语言模型时代的高光时刻

创始人星爵，携合伙人及研发VP栾小凡、AI和机器学习负责人Frank Liu ，集体亮相GTC大会，在不同的活动环节进行主题演讲，让全球AI从业者牢牢记住了Zilliz这家公司的名字。

导语：3月28日，创业黑马集团在2024黑马AI培训战略发布会上，董事长牛文文表示黑马致力于成为面向千行百业中小企业的AI应用推广和服务平台，希望AI产业专家、产业龙头、产业投资机构和产业新锐企业，一起携手助力中国中小企业AI化，一起推动中国AI产业的创新发展。

i黑马作为创业黑马集团旗下的核心媒体平台，推出“助力中小企业AI化”栏目，挖掘并报道AI产业中能助力中小企业AI化的企业或机构，促进他们与中小企业之间更好的联动与合作。

刚刚结束的英伟达GTC大会，堪称“AI界的春晚”，除了黄仁勋发布的Blackwell芯片和机器人等新品以及未来对NIM软件服务平台的投入，让人备受瞩目，还有另外一家中国AI企业荣耀绽放，那就是向量数据库头部企业Zilliz.创始人星爵，携合伙人及研发VP栾小凡、AI和机器学习负责人Frank Liu ，集体亮相GTC大会，在不同的活动环节进行主题演讲，让全球AI从业者牢牢记住了Zilliz这家公司的名字。

那，什么是向量？什么是向量数据库？在哪些场景中应用？对于企业AI化有什么价值？Zilliz又是凭什么获得英伟达如此高的重视度？带着这些疑问，我们趁创始人星爵回国的空档，进行了一次简短的交流。

以下内容是访谈精选，用一杯咖啡的时间，品一下。

向量是由机器学习模型所产生的一种高维数据的表示，被用来表达各种非结构化数据的语义。星爵看到全球80%的数据都是非结构化数据，这是一个具有无限想象空间的市场。于是在2017年毅然辞去美国Oracle公司云数据库创始工程师的高阶职位，回国创办了Zilliz，并在2018年推出了Milvus向量数据库服务产品，7年的创新与坚持，Zilliz已然成长为向量数据库领域的头部公司，也获得到了英伟达的青睐与合作。

**Zilliz眼里的数据世界**

早在2018年，星爵就看到了AI里面的三支柱：算法、算力和数据，并预见到非结构化数据领域的巨大机会。

在过去几十年的 IT 时代，我们见证了关系型数据库和结构化数据处理的兴盛和繁荣。结构化数据指的是按照固定格式或模式组织的数据，这使得它易于被计算机系统和应用程序存取、查询和分析。这种数据通常存储在关系数据库中，如SQL数据库，其中的数据被安排在表格中，表格有明确的行和列。每列都有一个预定义的数据类型，如整数、浮点数、字符串等。例如，一个公司员工的数据库可能包含多个表格，如员工信息表，其中包括员工编号、姓名、职位、部门等列。这种结构使得可以很容易地执行如搜索特定员工、列出某个部门所有员工等操作。

在 AI 时代，数据处理的类型发生了变化，从结构化变成了非结构化。非结构化数据指的是没有预定义数据模型或不容易适应传统数据表格结构的数据。这类数据包括文本文件、电子邮件、视频、音频、图像、用户行为画像和小分子三维结构等。非结构化数据通常不符合固定的格式，其内容的组织方式和表达形式可以极其多样。因为缺乏明确的结构，处理和分析非结构化数据需要更复杂的方法和技术。通过大模型神经网络，我们可以把非结构化数据转换成计算机能够处理和理解的数据类型，这个数据类型叫做向量。变成向量以后，就可以让计算机对非结构化数据做分析、检索和管理，这样就可以赋能各种AI的算法和AI的应用场景。

而随着 AI 逐渐得到广泛的应用，需要存储和处理的非结构化数据和向量数据变得越来越多，就需要有一个专门的数据管理系统来存储管理、分析和检索，向量数据库就应运而生。

**Zilliz向量数据库的应用场景**

单纯的数据世界，是枯燥乏味的，但在数字经济时代，数据已经成为一种新型生产要素，是数字化、网络化、智能化的基础，国家在2023年底也在重点推行数据要素相关政策，并在各地开始建立数据交易所，这无疑让企业对数据的重视程度变得越来越高，也在重新思考数据到底可以在哪些业务应用场景发挥价值。

在与数据打交道多年、曾为美国Oracle公司云数据库创始工程师的星爵眼里，数据，却如繁花一般，绽放于大千世界，让业务变得鲜活而多彩。

经过7年的深耕，Zilliz向量数据库已经被广泛应用于RAG、大模型训练、数据去重、图文及视频搜索、推荐系统、问答系统、版权保护、反欺诈、自动驾驶、新药发现等场景。

1、大模型知识库（RAG）：企业将私域数据经过文本分割和向量化后存储在向量数据库中，构建起专属的外部知识库，在后续的检索任务中为大模型提供提示信息，辅助生成更加准确的答案。

2、大模型训练：向量数据库在大型语言模型训练中可以用于语义搜索、去重、异常检测、内容推荐、交互式学习和微调。它通过处理和检索语义嵌入向量来提高数据处理效率，支持模型在数据预处理、训练及微调过程中更精准高效地工作。
3、多模态数据检索：在文本/图像/音频数据库中搜索与指定样本最相似的结果，文本/图像/音频的特征可以存储在向量数据库中，通过高性能的索引存储实现高效的相似度计算，返回匹配的文本/图像/音频结果。
4、搭建推荐系统：推荐系统的目标是根据用户的历史行为和偏好来推荐可能感兴趣的物品，用户行为特征可以被向量化后存储在向量数据库中，当发起推荐请求时，系统基于用户特征进行相似度计算，并返回可能感兴趣的物品作为推荐结果。

**Zilliz Cloud为中小企业降低AI应用的数据处理门槛**

大多数企业，尤其是中小企业，都希望能使用AI，算力和模型都相对容易解决，但数据却是最难的一关。数据的沉淀、清洗、管理，以及数据如何便捷地导入大模型里面进行训练，这些都成为企业AI应用的阻力。

这在星爵看来，Zilliz Cloud就是专为中小企业降低AI数据处理和应用门槛而设计的产品和服务。

![n5.1.webp](https://assets.zilliz.com/cms-cn/n5_1_8666246655.webp)

Zilliz Cloud是由Milvus原厂打造的基于Milvus的全托管向量数据库云服务，包含全托管的SaaS及BYOC向量数据库服务，提供深度优化、开箱即用的Milvus 体验。使用Zilliz Cloud可以轻松构建百亿级向量数据库，分钟级部署和扩展向量搜索服务，并由全球最专业的向量数据库团队提供运维、优化、及综合支持。

企业只需要把文本、图片和音视频这些数据给到Zilliz Cloud，通过data pipeline，把各种非结构化数据转换成为一个向量的表达。当企业要做AI应用的时候，就能便捷地把需要的数据提取出来，省去了各种中间复杂的技术环节，真正做到开箱即用。

截至目前，Zilliz Cloud 已实现全球5朵云13个节点的全覆盖，是全球首个提供海内外多云服务的向量数据库企业，付费用户遍及全球多个国家和地区，覆盖AIGC领域、电商、在线教育等场景。

![n5.2.webp](https://assets.zilliz.com/cms-cn/n5_2_f6a6355bee.webp)

Zilliz这7年来对数据创新的坚守与坚持，已然成为向量数据库领域的头部企业，这一切也被英伟达CEO黄仁勋看在眼里，连续2年GTC大会都重点提到向量数据库和Zilliz，并在今年GTC大会邀请三位核心成员登上GTC大会的舞台，向全世界AI从业者们，宣告Zilliz在英伟达业务布局中的核心地位。

当然，这也是英伟达在寻求业务增长点和持续向未来下注的关键一步。一方面，英伟达希望在数据这个层面能够分一杯羹，毕竟全世界80%的数据都是非结构化数据，英伟达希望通过跟Zilliz的合作，在AI数据分析领域，尤其是非结构化数据这个层面，找到一个坚实的增长点。另一方面，英伟达在持续向未来下注，包括机器人、自动驾驶、生物制药和NIM软件服务平台，而这些都离不开向量数据库。

**Zilliz未来要打造一个非结构化数据的一个平台**

提到Zilliz的未来布局，星爵的眼里泛着光，嘴角流露出一丝笑意，那是一种技术人特有的自信，尤其是当下数据要素作为新型生产要素，政府加强立法管理之后，星爵觉得这是一个更大的利好，给了Zilliz更强的信心。
3月初，Zilliz上线了腾讯云，自此，已经实现了全球主流公有云的覆盖，进一步扩展了Zilliz Cloud的商业化云服务，以此可以服务全球更多的客户。

其次，Zilliz会进一步加大Data Pipelines 这个产品的投入，让客户能更便捷地把各种非结构化数据转换成结构化数据，去构建各种AI的应用。

第三，随着大语言模型的广泛应用，Zilliz会加大在多模态应用领域的技术投入，包括面向于图片、视频、语音等多模态场景下的商业产品对接，增强易用性。

最后，Zilliz的长期愿景是要打造一个非结构化数据平台，目前还只是一个提供非结构化数据的存储、管理、检索的技术平台，那再往上延展，就是一个数据平台，要具备数据交换的能力。因为对于很多企业来说，既然用了Zilliz的云产品，把数据放到Zilliz Cloud上了，可以企业内部使用，也可以在合规合法保障数据安全的情况下，把一些数据进行流通和交易，让一些经过授权合作的企业，也用起来，进一步放大数据存在的价值。

**Zilliz推出“Zilliz AI初创计划”助力AI初创企业成长**

回到这个系列访谈的主题，“助力中小企业AI化”，黑马和Zilliz也都一直在路上。今年3月，Zilliz发起“AI初创计划”，这是一项面向AI初创企业推出的扶持计划，为全球的AI初创团队提供资源、技术、市场推广、销售等全方位的支持，还将提供总计1000万元的Zilliz Cloud抵扣金，帮助 AI 开发者构建高效的非结构化数据管理系统，打造高质量AI服务与应用，加速产业落地。

![n5.3.webp](https://assets.zilliz.com/cms-cn/n5_3_b4e2980088.webp)

尽管Zilliz还是一家创业公司，这次推出这个 AI 初创计划，也的确是难能可贵，也进一步彰显了星爵对技术创新的长期主义。

在被问到为什么推出这个计划，星爵似乎也感同身受。他发现很多企业的工程师，其实特别想尝试一些新的产品和技术，但由于内部要走各种复杂的审批流程和采购流程，而未能如愿。因此星爵就想，如何能帮助到这些敢于创新的工程师在一个很低成本甚至零成本情况下先用起来，帮助他们去验证是有价值的，这本身就是一件对推动技术创新应用非常有价值的事情。

因此，Zilliz的AI初创计划，最基本的一个初衷就是希望有更越来越多的企业，能够零门槛的更加快速的去搭建他们的AI应用，能够把他们企业的那些非结构化数据，更好地用起来，去赋能业务，更好地服务客户。

对该计划感兴趣的可去 Zilliz 中文官网填写申请，项目专员将会及时联系（活动申请截止日期为 2024年6月30日）。

在这次访谈即将结束的时候，星爵无比感叹我们生活在一个特别好的时代，能够见证这次AI变革所带来的无限想象，再加上中国目前强大的政治经济基础，给创业者们提供了一个前所未有的全球化创业环境。

相信更多如星爵般的创业者，凭借与生俱来的聪明勤奋和坚韧不拔，一定能趁此AI的东风，飞得更高更远。（作者：维观）

large_n5.3.webp

medium_n5.3.webp

small_n5.3.webp

thumbnail_n5.3.webp

n5.3.webp

导语：3月28日，创业黑马集团在2024黑马AI培训战略发布会上，董事长牛文文表示黑马致力于成为面向千行百业中小企业的AI应用推广和服务平台，希望AI产业专家、产业龙头、产业投资机构和产业新锐企业，一起携手助力中国中小企业AI化，一起推动中国AI产业的创新发展。


七年磨一剑，星爵要让Zilliz成为向量数据库领域最亮的那颗星 | 助力中小企业AI化系列访谈

Zilliz Cloud 的用户可以利用腾讯云在北京和上海区的云服务搭建云应用

![](https://assets.zilliz.com/cms-cn/Mar_14_Zilliz_AI_20240315_090316_1_503b947d97.png)



3 月 22 日，Zilliz 对外透露，Zilliz Cloud 的用户可以使用腾讯云在北京和上海区的云服务搭建云应用，这将进一步为海内外用户提供更为丰富的多云支持的向量数据库云服务！



这是继阿里云后，Zilliz Cloud 在国内新增的又一云服务。事实上，Zilliz Cloud 一早就确定了多云服务的策略，多云对于业务的优势有很多，包括安全合规、更高的议价空间、可用性更高以及 No Vendor Lock in。因此，Zilliz Cloud 也一直在不断增加对更多云和节点的支持，满足用户进行全球化业务布局的需求。



2023 年 3 月，Zilliz Cloud 正式登陆北美市场，并支持  AWS、GCP。2023 年 7 月，Zilliz Cloud 登录阿里云全面开启国内向量数据库云服务。2023 年 12 月，Zilliz Cloud 强势登陆 Azure。2024 年开年，Zilliz Cloud 又在阿里云增设两大云服务可用区。此次支持腾讯云，不仅意味着 Zilliz Cloud 顺利完成对华北、华东、华南地区的全覆盖，更代表着 Zilliz 在国内向量数据库云服务的再次升级。



![](https://assets.zilliz.com/cms-cn/20240322_142018_9b8f7da953.png)




截止目前，Zilliz Cloud 已实现全球 5 大云 13 个节点的全覆盖，除了在中国的杭州、北京、深圳等五大服务区，其他 8 个节点分布在海外，包括美国的弗吉尼亚州、俄勒冈州、德国的法兰克福、新加坡等城市和地区。至此，Zilliz 已成为全球首个提供海内外多云服务的向量数据库企业。



Zilliz Cloud 由 Milvus 原厂打造，提供全托管的 SaaS 及 BYOC 向量数据库服务，具备深度优化、开箱即用的 Milvus 体验。使用 Zilliz Cloud 可以轻松构建百亿级向量数据库，分钟级部署和扩展向量搜索服务，并由全球最专业的向量数据库团队提供运维、优化、及综合支持。



AGI 时代，Zilliz Cloud 拥有丰富的向量数据库场景，例如 RAG、推荐系统、文本/语义搜索、图片相似性搜索、问答系统、多模态搜索等。不止如此，Zilliz Cloud 还可以用于 DNA 序列分类、数据去重、欺诈保护、AI 制药、版权保护等应用。



现在，只要注册 Zilliz Cloud（[https://cloud.zilliz.com.cn/signup](https://cloud.zilliz.com.cn/signup)）即可获赠 ¥300 免费额度，享受 30 天免费试用权益，欢迎体验！

[阅读原文](https://zilliz.com.cn/rag-collaborate-plan?utm=mkt-zilliz-teco)

---
​
- 如果在使用 Milvus 或 Zilliz 产品有任何问题，可添加小助手微信 “zilliz-tech” 加入交流群。
​
- 欢迎关注微信公众号“Zilliz”，了解最新资讯。


large_Mar 21 ——Zilliz Cloud  登陆腾讯云-1.png

medium_Mar 21 ——Zilliz Cloud  登陆腾讯云-1.png

small_Mar 21 ——Zilliz Cloud  登陆腾讯云-1.png

thumbnail_Mar 21 ——Zilliz Cloud  登陆腾讯云-1.png

Mar 21 ——Zilliz Cloud  登陆腾讯云-1.png

正式支持腾讯云！Zilliz Cloud 多云版图再度扩张

 Zilliz 作为向量数据库的领军者，也将在此次 AI 盛会中再次向世人展示向量数据库在去年一年的打磨中已经取得的成果，并做好准备来迎接 AI 的变革时刻。


![](https://assets.zilliz.com/cms-cn/20240319_173034_b820dc979b.webp)




Zilliz 与全球的顶尖开发者齐聚  NVIDIA GTC。



近日，备受关注的 NVIDIA GTC 已拉开序幕，来自世界各地的顶尖 AI 开发者齐聚美国加州圣何塞会议中心，共同探索行业未来。



作为去年被 NVIDIA CEO 黄仁勋提及的向量数据库厂商，Zilliz 今年主要以主题演讲的形式参与其中。Zilliz 创始人兼 CEO 星爵、Zilliz 合伙人及研发 VP 栾小凡、Zilliz AI 和机器学习负责人 Frank Liu 均将在 GTC 不同的环节进行分享。不止如此，Zilliz 还先后两次与 NVIDIA 合作，尤其是即将发布的 Milvus 2.4，充分诠释了如何用 GPU 为向量数据库加速，更好地为 AI 时代的开发者服务。



黄仁勋今年 Keynote 的主题是“见证 AI 的变革时刻”，在演讲中再次介绍了向量数据库在 LLM、生物制药、自动驾驶和机器人等领域的广泛应用场景。而 Zilliz 作为向量数据库的领军者，也将在此次 AI 盛会中再次向世人展示向量数据库在去年一年的打磨中已经取得的成果，并做好准备来迎接 AI 的变革时刻。



## 01.Zilliz 深度参与 AI 盛会，享受与全球开发者的思想碰撞



在今年的 GTC 大会上，Zilliz 将通过线上主题演讲与现场分享结合的方式与全球的开发者进行深入交流。



### 3 月 18 日

- 分享人：Zilliz 合伙人及研发 VP 栾小凡 

- 会议号：SE62800

- 分享主题：创业企业在生成式 AI 方向的实践与分享



在 3 月 18 日（北京时间）举行的 GTC 创业企业特别会议特辑中，有三场针对中国创业企业的特别演讲，栾小凡在其中一场主题为“创业企业在生成式 AI 方向的实践与分享“。栾小凡详细介绍了 GPU 加持的向量数据库 Milvus 如何赋能大规模 RAG 模型应用。



### 3 月 20 日 

- 分享人：Zilliz 创始人兼 CEO 星爵

- 会议号：S62599

- 分享主题：Perform High-Efficiency Search, Improve Data Freshness, and Increase Recall With GPU-Accelerated Vector Search and RAG Workflows

（执行高效搜索，提高数据实时性，并通过 GPU 加速的向量搜索和 RAG 工作流程提高召回率）



在即将到来的 3 月 20 日（北京时间），Zilliz 创始人兼 CEO 星爵将在 GTC 大会上进行分享。本次分享主要帮助开发者了解 RAPIDS  RAFT 库的集成，如何显著提升 Milvus 在构建索引和执行搜索查询方面的性能。届时将讨论集成的核心架构，并提供实际应用中的性能测试结果。



### 3 月 21 日 

- 分享人：Zilliz AI 和机器学习负责人 Frank Liu

- 分享主题：A GPU-Accelerated Vector Database（一个使用 GPU 加速的向量数据库 ）



3 月 21 日（北京时间），Frank Liu 将在 GTC 进行线下分享。Frank 首先会分享为什么在 Milvus 中新增支持 GPU，然后通过 demo 展示使用 NVIDIA GPU 查询和索引的速度大幅提升。



## 02.与 NVIDIA 两度合作，为 AI 变革做足准备



2023 年以来，Zilliz 旗下的开源向量数据库 Milvus 先后两次与 NVIDIA 进行深度合作，以实际行动支持 AI 时代开发者对向量数据库的性能需求。



首先是 Milvus 2.3 正式支持 NVIDIA GPU。作为为数不多的支持 GPU 的向量数据库产品，Milvus 2.3 在吞吐量和低延迟方面都带来了显著的变化，尤其是与此前的 CPU 版本相比，不仅吞吐量提高了 10 倍，还能将延迟控制在极低的水准。



同时，Milvus 2.3 还带来了如 Query 架构升级、更强的负载均衡调度能力、新的消息队列、Arm 版本镜像、可观测性、运维工具升级 MMap 等能力。其中，与传统的内存索引相比，MMap 可以实现超过 10 倍的内存节省，对 RAG 应用尤其有益。



本周，Milvus 将升级至 2.4 版本，全面支持 NVIDIA 最新的 RAFT 算法库，包括暴搜 bruteforce、图索引 CAGRA 以及 IVF 以适用于不同应用场景。在 GPU 的加持下，不仅索引的构建时间大幅缩短，向量检索尤其是批量搜索场景下，QPS 有数十至上百倍的提升。



此外，Milvus 2.4 还基于场景引入了其他新功能，例如：支持多向量列和混合排序搜索，能更好的支持多模态场景；稀疏向量的支持可以帮助扩充向量搜索的范围，其在关键词理解和可解释性方面都颇具前景。而针对典型 RAG 场景，引入分类聚合的 Group By 支持，帮助 chunk 之上的文档级别召回；同时支持 Inverted Index 和模糊匹配，提升了关键词的检索能力。



## 03.升级基于 Milvus 的全托管向量数据库云服务产品 Zilliz Cloud，并持续建设 AI 生态



最新升级的 Zilliz Cloud 可以大幅提升向量搜索性能（性能较 Milvus 最高提升 10 倍以上），实现企业级数据安全和无缝数据集成。新版本发布后，用户无需自定义代码，便可快速顺畅地完成非结构化数据处理和索引。尤其是对于 Cardinal 搜索引擎的支持，使得用户对于处理大型数据集及快速响应的高要求有了保障，在提升体验的同时，也可以提升 AI 应用的竞争力。



而 Zilliz Cloud Pipelines 的上线，也可以有效提升开发者的工作效率，它可以将文档、文本片段和图像等非结构化数据转换成可搜索的向量并存储在 Collection 中，帮助开发者简化工程开发，助力其实现多种场景的 RAG 应用，将复杂生产系统的搭建和维护简化成 API 调用。



此外，2023 年以来，Zilliz Cloud 实现了 AWS、Azure、GCP、阿里云全球 4 大云 11 个节点的全覆盖，成为全球首个提供海内外多云服务的向量数据库企业。



## 04.步履不停，与 AI 企业一同探索更多变革时刻



Zilliz 从未停止过对 AI 生态的建设，也期待与其伙伴一起探索更多 AI 的变革时刻。

近期，Zilliz 面向 AI 初创企业推出了“Zilliz AI 初创计划”，预计提供总计 1000 万元的 Zilliz Cloud 抵扣金，帮助 AI 开发者构建高效的非结构化数据管理系统，助力打造高质量 AI 服务与运用，加速产业落地。






Zilliz 将为全球的 AI 初创团队提供资源、技术、市场推广、销售等全方位的支持，符合要求的团队可获得以下独家资源与支持：



- 零成本快速上云

- 领先全行业的向量数据库技术、产品支持

- 提升品牌海内外知名度，拓宽潜在客户市场

- 携手销售专家探寻更多商机



对该计划感兴趣的团队可访问 [https://zilliz.com.cn/rag-collaborate-plan?utm=mkt-zilliz-teco ](https://zilliz.com.cn/rag-collaborate-plan?utm=mkt-zilliz-teco )填写申请，Zilliz AI 初创计划项目专员将在 1-3 个工作日内和您联系并确认申请资料，完成资质评估，制定后续执行计划。



未来，Zilliz 也将持续加大对 AI 生态系统建设的投入，不断为更多的优质开源项目赋能、繁荣生态、惠及更广泛的开发者和用户群体，活动申请截止日期为 2024 年 6 月 30 日。


[阅读原文](https://zilliz.com.cn/rag-collaborate-plan?utm=mkt-zilliz-teco)




large_322.png

medium_322.png

small_322.png

thumbnail_322.png

322.png

与 NVIDIA 再次合作、深度参与 GTC，Zilliz 与全球顶尖开发者共迎 AI 变革时刻！

large_640 (16).jpeg

medium_640 (16).jpeg

small_640 (16).jpeg

thumbnail_640 (16).jpeg

640 (16).jpeg

Z Potentials | 星爵，他的征途不止向量数据库

2023 年注定是属于大模型和向量数据库的巅峰时刻。国内大模型的发展也迎来前所未有之机遇，“百模”激战正酣。在刚闭幕的世界人工智能大会上，国内外科技公司全线加入，三十余款大模型集中亮相，“国家队”尘埃落定，并正式启动大模型测试国家标准制订，掀起新一轮大模型热浪。而作为“大模型记忆体”、AIGC 应用开发新范式的重要组成部分，向量数据库的演进也逐渐达到了前所未有的新高度。



Milvus 自 2019 年正式开源以来，已经成长为全球最大、最活跃的向量数据库开源项目与开发者社区。作为 Milvus 背后的开发者与运营者，Zilliz 一直走在向量数据库的最前沿，始终秉承为开发者提供易用性强、性价比高的向量数据库服务的理念。经过五年的持续打磨，终于在国内推出了基于 Milvus 的全托管向量数据库云服务产品——Zilliz Cloud。


![](https://files.mdnice.com/user/40024/fac0adf9-c065-4c45-95f1-3e9b026cf192.png)




经过不断地开发与升级，Zilliz Cloud 俨然成为向量数据库赛道的领先者。随着 Zilliz Cloud 在国内全面开启向量数据库云服务，也为向量数据库的高速发展开启了全新的纪元。对于此次在国内的服务落地，Zilliz 秉承的使命和目标尤为清晰和明确：



- 提供全球最专业的全托管向量数据库云服务。



- 打破向量数据库服务集中在北美，国内无可用向量数据库服务的尴尬局面。



- 满足向量数据库服务多云的需求，避免业务被单一云环境限制。



- 为跨境业务中所需要的统一向量数据库服务和架构提供可行性。



- Milvus 开源解决方案、SaaS、PaaS 统一接口标准，无缝线下/云上迁移，并大幅度降低混合部署的综合成本。



- 提供比开源 Milvus 具有更高性价比、更稳定服务支持的产品和解决方案。



![](https://files.mdnice.com/user/40024/f9527a83-2133-421d-a07b-a33d3d819efe.png)




## 成熟稳定，全球率先支持十亿级别向量规模的服务



Milvus 自开源以来，一直都是企业用户自建向量数据平台的首选，全套技术解决方案已被上万家企业所采用，其中百度、新浪、理想汽车、华泰证券、沃尔玛、LINE、BIGO 等头部企业在实践中经过反复验证，均已顺利投产。


![](https://files.mdnice.com/user/40024/1f11f172-d5e8-4e1d-81e5-5adada5d6fdb.png)




向量数据库是 AIGC 大模型的重要补充，是提供准确可靠、高度可扩展的长短期“记忆”的关键载体。近一年，向量数据库项目如雨后春笋般涌现。然而，大部分向量数据库支持的向量数据规模仅停留在千万量级，并不具备支撑生产环境的能力。



相较之下，Milvus 在过去 5 年的客户应用场景覆盖各行各业，早在 2021 年就实现稳定支持十亿级向量规模的线上服务。如今，Zilliz Cloud 的向量数据库服务可**轻松支持十亿级以上规模向量数据，可用性高达 99.9%。**



此外，在产品与技术背后，Zilliz 亦拥有全球最资深的向量数据库专家团队，可以为每一位企业用户配备 4 名技术支持，**“没有人比我们更懂向量数据库”**是团队对开源社区与商业化用户的承诺。



## 高性能+高性价比，性能优异远超同类产品



当前主流的向量数据索引算法是内存算法或内存/SSD 混合，算法内核以矩阵计算为主（类似 HPC），大规模向量检索与分析是计算/内存双重密集的任务。这意味着向量数据库作为基础设施，对于性能与成本更加敏感。



从性能方面来看，Zilliz Cloud 在 QPS 和降低查询延迟方面远超其他同类产品。我们将 Zilliz Cloud 、Milvus、Pinecone、ElasticCloud  4 个常见的向量数据库（ElasticCloud 严格来说不属于向量数据库，但附带向量能力，在传统文本检索领域受众最广，可以视为目前传统数据库支持向量检索的代表）在同等资源及 6 组向量查询任务的同等条件下进行了对比（测试框架已开源，详见 VectorDBBench，Leaderboard）。



对比结果如下：



在查询吞吐方面，**Zilliz Cloud 在全部 6 组查询任务中全面力压北美向量数据库 Pinecone，整体性能平均超越 2 倍以上。**与此同时，Zilliz Cloud 相比 Milvus，也有将近一倍的提升，表现令人眼前一亮。ElasticCloud 作为传统文本检索服务的代表，向量查询能力主要为补充能力，这 6 组查询任务的 QPS 均在 50 以下。


![](https://files.mdnice.com/user/40024/b5586043-fcce-4f27-922e-43b55e918450.png)




查询延迟方面，Zilliz Cloud 整体在 10 ms 以下，Milvus 整体在 20 ms 以下，Pinecone 在 20-40 ms 之间，ElasticCloud 差距较为明显。


![](https://files.mdnice.com/user/40024/e2787a3c-4b1a-44f6-a7ab-591cefa04391.png)




性价比方面，主要考察 Queries per dollar (高并发情况下，单位成本所能支持的查询请求数量)。**相较  Pinecone、Elastic，Zilliz Cloud 的优势十分明显。指标相比第二位的 Pinecone 最多可以高出 1 个数量级（Q1, Q2），在剩下的四组任务中普遍可以高 3 倍左右。**（由于 Milvus 为开源方案，难以和商业化服务在相同标准下比较，我们在这组测试中将其移除。）


![](https://files.mdnice.com/user/40024/ebb65653-3958-4d36-b16d-10b620f05cbe.png)



## 黑科技加持，软硬件性能飙升，全新内核火力全开



Zilliz Cloud 采用商业化引擎，综合性能超过Milvus 开源引擎的 1 倍以上。引擎针对典型场景进行深度优化，性能可提升 3-5 倍。



硬件层面，Zilliz 与英伟达、英特尔等一线硬件厂商有着长期稳定的合作，向量算法内核针对 X86、ARM、GPU 进行了定制化优化。



软件层面，Zilliz Cloud 推出了 Autoindex 智能索引。智能索引根据用户的向量维度、数据规模、数据分布、查询特性进行持续的自动化调优，免去用户索引类型选型以及参数调优的痛苦。据 Zilliz 内部测试，autoindex 智能索引已经达到向量数据库专家手工调优效果的 84%，大幅超越用户的平均水平。在下一阶段，autoindex 智能索引的功能还会得到大幅度增强，支持用户指定 recall 进行优化，保证索引运行在指定查询准确度的最优点。



当然，**针对最近大火的 AIGC 应用，Zilliz Cloud 也推出了专门的特性支持：**



- 动态 schema ，可以根据 AIGC 迭代需要，灵活扩展向量特征或标签字段。



- Partition Key ，支持 AIGC 应用多用户知识库的利器，相较单独建表方案，综合成本可下降 2-3 个数量级。



- 支持 JSON 类型，可以将 JSON 与 embedding 这两种超强能力相结合，实现基于 JSON 与 embedding 向量的混合数据表示以及复杂的业务逻辑。



## 打破 “CAP” 不可能三角，给用户灵活选择



向量数据库技术发展到现在并不完美，通常情况下，业务需要在成本（Cost）、查询效果与准确度（Accuracy）、查询性能（Performance）之间做权衡，即向量数据库的 CAP 问题。目前来看，CAP 是一个不可能三角，Zilliz 的解法是在典型的位置给出局部最优解，并给用户以灵活的选择。



事实上，用户的普遍场景可以归纳为性能需求型、容量需求型与成本敏感型。为此，Zilliz Cloud 在向量数据库实例中也相应提供了三类支持：**性能型、容量型和经济型**。不同的实例类型由不同的算法与硬件资源组合而成，适用于不同的业务场景。



![](https://files.mdnice.com/user/40024/4213b0eb-cea4-4d10-8558-d6d3866ddfd3.png)



- **性能型**实例适用于需要低延迟和高吞吐量的向量相似性检索场景，该类型的实例能够保证毫秒级的响应。



性能型实例的适用场景包括但不限于：生成式 AI、推荐系统、搜索引擎、聊天机器人、内容审核、LLM 增强的知识库、金融风控。



- **容量型**实例可以支持的数据量是性能型的 5 倍，但查询延迟略有增加，因此适用于需要大量存储空间的场景，尤其是需要处理千万级以上向量数据的场景。



容量型实例的适用场景包括但不限于：搜索大规模的非结构化数据（如：文本、图像、音频、视频、药物化学结构等）、侵权检测、生物身份验证。



- **经济型**实例可支持的数据规模与容量型一致，但价格优惠 7 折左右，性能略有下降，适用于追求高性价比或预算敏感的场景。



经济型实例的适用场景包括但不限于：数据标记或数据聚类、数据去重、数据异常检测、平衡训练集类型分布。



## 支持大模型与非结构化数据处理全生态覆盖



没有任何一套系统可以满足使用者业务上的所有需求，向量数据库也是如此。在以向量数据库为支撑的业务中，往往需要处理多道流程，包括：



- 业务数据的语义结构化，如从文本数据中梳理标题 embedding、内容段落的embedding、一二级主题、阅读时间；



- 面向端到端效果的模型选型，如寻找能带来最佳效果的 embedding 模型选型；



- 模型与向量数据库的集成，如向量数据库查询驱动的原始数据召回以及后续 LLM 对召回内容的总结或重构等。



为了进一步降低应用构建成本，提供标准化组件，Zilliz  Cloud 为开发者提供了双重支持：



- 大模型生态对接。2023 年 3 月，Zilliz 作为 OpenAI 首批向量数据库合作伙伴，完成了 Milvus 与 Zilliz Cloud 的插件化集成，被纳入官方推荐的向量数据库插件名单。不止如此，Zilliz 还与 LangChain、Cohere、LlamaIndex、Auto-GPT、BabyAGI 等热门项目进行了深度集成。此外，与国产大模型如文心一言、通义千问、智谱 AI、MiniMax、360 智脑等对接工作正在进行中，近期将会有更多成果发布。



- 面向非结构化数据处理流水线。Zilliz Cloud 提供了开源的 Towhee 工具框架。开发者可以在熟悉的 Python 环境，以类似 Spark 的算子语法编写自己的流水线，轻松处理文本、图片、音频、视频、化合物结构等非结构化数据的 ETL 过程。Towhee 同时提供自动化编排工具，一键在 Python 环境验证过的流水线组织成基于 Triton、TensorRT、ONNX 以及一系列硬件加速算法的服务镜像，面向如文本近似搜索、智能问答、知识库等典型场景。当然，Towhee 也提供深度优化的标准流水线。



目前，Zilliz Cloud 提供 SaaS 和 PaaS 服务，其中 SaaS 已覆盖 AWS、GCP、阿里云，PaaS 覆盖 AWS、GCP、Azure、阿里云、百度智能云、腾讯云和金山云。国内官网已同步上线，更多详情和案例可以访问 [https://zilliz.com.cn](https://zilliz.com.cn)（海外官网和云服务入口：[https://zilliz.com](https://zilliz.com)）。



为了加速打磨业界最佳实践，我们即将启动**「寻找 AIGC 时代的 CVP 实践之星」** 专题活动，Zilliz 将联合国内头部大模型厂商一同甄选应用场景， 由双方提供向量数据库与大模型顶级技术专家为用户赋能，一同打磨应用，提升落地效果，赋能业务本身。如果你的应用也适合 CVP 框架，且正为应用落地和实际效果发愁，可直接申请参与活动，获得最专业的帮助和指导。（注：CVP 即 C 代表以 ChatGPT 为代表的 LLMs，V 代表 Vector DB，P 代表 Prompt Engineering，联系方式参见 **business@zilliz.com**）



2023 年伴随着 AGI 和 LLMs 的爆发已经过半，加速探索大模型落地之路已经迫在眉睫。行业的高度共识推动着 AI 奇点的来临，大模型将重构企业级应用，重塑人工智能产业的发展方向。Zilliz 表示，未来将持续聚焦向量数据库行业发展的最前沿，以各行各业的智能化演进为目标，为大模型时代的企业和开发者提供最具竞争力的“大模型记忆体”。



🌟点击跳转[中文服务网站](https://zilliz.com.cn)，了解更多关于 Zilliz Cloud 的信息。


large_July 10——Zilliz Cloud 国内云服务已开启.png

medium_July 10——Zilliz Cloud 国内云服务已开启.png

small_July 10——Zilliz Cloud 国内云服务已开启.png

thumbnail_July 10——Zilliz Cloud 国内云服务已开启.png

July 10——Zilliz Cloud 国内云服务已开启.png

开源铸剑，五载匠心！Zilliz Cloud云服务盛装登场，引领向量数据库云时代！

突破大模型常规边界，引领AGI未来！Zilliz Cloud云服务重磅发布，开启向量数据库新纪元！

Zilliz Cloud发布2.0重磅更新，更是带起一波业界对向量数据库的讨论热潮。大模型技术进展日新月异，向量数据在风口浪尖上也起起伏伏，不少人说它是给AI提供长期记忆的必备基建，也有人认为提高大模型上下文长度才是未来方向。

一个在GitHub上标星超2万的数据库，究竟是什么来头？

原来，这正是最近大火的向量数据库之一、首个在这一赛道开源产品Milvus。

自大模型爆火以来，它的关注度也一路飙升，官方显示，目前Milvus已经拥有超过1000+企业用户。


![7121.png](https://assets.zilliz.com/cms-cn/7121_116b1157d5.png)


而就是这么一个GitHub上最流行的向量数据库，背后公司Zilliz已经完成了1.13亿美元融资。

Zilliz专注于研发面向AI应用的向量数据库系统，旗下有Milvus、Zilliz Cloud等产品，目的是为开发者提供易用性强、性价比高的向量数据库服务。

这两天，Zilliz Cloud发布2.0重磅更新，更是带起一波业界对向量数据库的讨论热潮。

大模型技术进展日新月异，向量数据在风口浪尖上也起起伏伏，不少人说它是给AI提供长期记忆的必备基建，也有人认为提高大模型上下文长度才是未来方向。

这不，还有谷歌工程师专门为此摆摊舌战群儒。

![7122.png](https://assets.zilliz.com/cms-cn/7122_506247afa4.png)



众说纷纭之下，情况究竟如何？不如来听听向量数据库一线从业者怎么说。

我们联系到了Zilliz创始人兼CEO星爵，希望和他聊一聊向量数据库对于这一轮AI浪潮的意义，以及它背后变革的方式。

星爵认为，大模型的出现给AI带来了新的计算范式CVP Stack，向量数据库是不可或缺的关键：

其中，“C”代表大模型（ChatGPT）负责向量计算；“V”代表向量数据库（vector database），负责向量存储；“P”代表Prompt工程，负责向量交互。

![7123.png](https://assets.zilliz.com/cms-cn/7123_00915c84bd.png)



不仅如此，他还系统解答了在大模型发展过程中，向量数据库具体起到的作用，以及作为向量数据库头部公司的Zilliz，又要如何应对这一轮AI变革浪潮。

在不更改原意的基础上，量子位对与星爵的交流内容进行了整理，希望能为大家带来一些思考与启发。

## 大模型的数据基础设施
**提问**：最近向量数据库很火，能不能先简单科普一下？

**星爵**：向量数据库是一种为了高效存储和索引AI模型产生的向量嵌入（embedding）数据而专门设计的数据库。

在传统的关系型数据库中，数据通常以表格的形式存储，而在向量数据库中，数据以向量的形式存储。向量（embedding）是一组数值，可以表示一个点在多维空间中的位置。向量数据库非常擅长处理大量的高维embedding数据，这种数据在机器学习和深度学习应用中很常见。

**提问**：在最近半年里，向量数据库被广泛应用于大模型领域。向量数据库在大模型领域具体有哪些应用？

**星爵**：诸如GPT、Bard、Claude和LLaMA这样的大模型可以产生海量向量嵌入数据来表达复杂的语义关系，但模型本身的存储空间有限，无法持久保存这些数据。

向量数据库就像一块外置的记忆块，可以长期存储这些数据，供模型随时调用。向量数据库在LLM领域的应用主要可以分为以下几类:

- 1、管理私有数据和知识库

开发者可以方便高效地将自己的领域数据集或者私有数据集转换成向量格式，让大模型直接操作，而无需将这些数据暴露给模型训练方，有效保护了数据隐私和产权。

- 2、为大模型提供实时数据更新。

通过向量数据库可以为大模型提供实时的数据更新，解决大模型“胡言乱语”的问题，而无需频繁重训模型。这比直接fine-tune模型的成本低很多。

- 3、实现大模型的个性化和增强。

开发者可以在向量数据库中添加上下文和自己的数据来扩展大模型的感知能力，实现个性化应用。

- 4、提供智能体的记忆。

智能体是大模型的一个新兴应用场景，用于构建具有独立智能的虚拟人物、虚拟代理甚至人形机器人。向量数据库不仅可以帮助智能体记忆其感知的历史数据和上下文，帮其做出智能决策，还能使其根据长期记忆来实现自我演进。

- 5、保存大模型的处理结果。

向量数据库可以持久保存大模型处理过的数据，进行离线分析和挖掘。而不像大模型那样，用过即弃。比如说，开源项目GPTCache可以将大模型的查询结果缓存至向量数据库，避免重复计算，提高查询效率，这有点像CDN和Redis对网站数据的作用。

- 6、构建更复杂的AI系统。

在很多场景下，我们需要将多个大模型和向量数据库串联，实现更强大的功能。其中，多个大模型甚至是多模态模型共同负责处理语义，向量数据库负责数据流转。

对于大模型应用开发者来说，向量数据库是一个非常重要的基础设施，可以在最大限度发挥大模型威力的同时保护数据隐私，实现更丰富的功能。LLM和向量数据库共同推动AIGC的发展，二者缺一不可。

## 全面拥抱大模型

**提问**：我们了解到，Zilliz Cloud在两周前于硅谷发布了全面的产品更新和升级。这次产品升级背后的动机是什么？

**星爵：**我们的出发点是all-in大模型应用开发。

在过去的几年里，我们的开源产品Milvus和商业产品Zilliz Cloud被广泛应用于计算机视觉、NLP、推荐系统、搜索引擎、自动驾驶和生物制药等领域。在过去的半年里，向量数据库经历了它的iPhone时刻，数百万LLM应用开发者涌入，LLM应用开发成为了向量数据库的杀手级应用场景。众多的LLM应用开发者给我们带来了大量新兴的需求，我们决定拥抱这些变化，为LLM应用开发提供更全面、更便利的支撑。

**提问：**能不能具体介绍下Zilliz Cloud做了哪些更新和升级？

**星爵**：首先，引入了对RESTful API的全面支持。我们看到新进的LLM开发者大多具有丰厚的Web应用和移动应用开发背景，他们熟悉基于RESTful API将多个服务的能力串起来打造强大的应用。有了RESTful API，开发者可以便捷地将「LLM+向量数据库+提示词」三者连接起来，打造LLM应用程序。我们将这种新开发范式称为CVP Stack，能极大提高开发效率。举个例子说，明道云的一位工程师使用RESTful API一天就完成了Zilliz Cloud和对方平台的整合。

其次，提供了动态schema。此前向量数据库采用静态schema的方式，需要开发者在建表时根据业务定义数据的schema，这对于大型企业的成熟业务而言是一种常见的处理方式。然而，当下AIGC应用多处于早期快速迭代阶段，面向业务效果，需要频繁调整向量数据库内的字段，对于这类需求，反复重建schema结构以及频繁的数据重导入会严重影响产品的迭代速度。为此我们引入了动态schema，支持用户根据开发需要动态灵活地进行数据处理。

再者，新增了JSON数据类型的支持。JSON是目前最流行且最灵活的数据表示方式之一，被广泛地应用于应用程序开发中。我们将MongoDB的基础能力搬进了向量数据库，用户在Zilliz Cloud上可以将JSON与embedding这两种超强能力相结合，实现基于JSON与embedding向量的混合数据表示和处理。

另外，我们还引入了Partition Key，支持基于Partition Key的高效数据过滤；增加了组织和角色的概念，支持基于Role-Based Access Control（RBAC）的多粒度访问控制；增加了全面的LLM生态支持，深度整合了OpenAI、Claude、Cohere、LLaMA、Bard、Dolly、LangChain、LlamaIndex和Semantic Kernel等热门项目。

**提问**：我们看到Zilliz Cloud之前只提供专有集群一种产品，此次新增了Serverless和云上私有部署两种产品。这背后的原因是什么？

**星爵**：Zilliz Cloud面向不同阶段的用户提供多种用户计划。



## 基于Serverless的入门计划

为每位用户提供一个免费的Serverless实例，开箱即用，可支持百万条数据规模的向量检索，适合个人开发者和小型开发团队使用。

- 专有集群产品

面向大型开发团队和企业，专注高性能、高可用、高可扩展性、智能运维和优化、数据安全以及敏捷技术支持等企业级特性，并提供性能型、容量型、经济型三类实例类型，满足企业不同维度的业务需求。

- 自托管计划

允许用户在其虚拟私有云（VPC）上部署我们的向量数据库服务，提供完全控制，它是注重隐私、数据安全和合规的大型企业的理想选择。

通过提供不同形态的产品，我们希望满足LLM开发者在不同发展阶段的需要，让每一个开发者、每一个开发团队、每一个企业都能方便地使用向量数据库服务，加速实现AI数据基础软件的普及化。

## 向量数据库市场的竞争和趋势
**提问**：今年以来，多家向量数据库初创公司获得了大额融资，一些大厂也纷纷把向量数据库的研发列入日程。你怎么看待日益升温的竞争？

**星爵**：竞争意味着市场确认和机会。竞争的加剧说明向量数据库的价值得到了市场的广泛认可，其市场机会和潜力得以证实。与此同时，激烈的竞争也在一定程度上推动了技术的进步，这对消费者和整个行业而言都大有裨益，是一件实打实的好事。

当然，这种竞争环境迫使公司更加关注客户的需求。这意味着我们必须密切关注市场趋势，并适应这些变化，以提供客户真正需要的解决方案。我们必须不断创新和优化我们的产品和服务。这对LLM开发者和整个行业来说都是有益的。我相信在一个健康的生态系统中，有多个玩家是至关重要的。这为开发者和客户提供了选择，也为行业设置了标准。

在Zilliz，我们作为向量数据库行业的先行者和开拓者，尤其欢迎这种竞争。我们将继续致力于推动向量数据库技术的发展，并与其他参与者一起，为用户提供最先进的工具和服务。

**提问**：刚才你提到了行业标准，在关系型数据库领域有TPC-C和TPC-H这样的benchmark，向量数据库领域有类似的benchmark么？

**星爵**：目前还没有标准的benchmark，这给开发者和企业在向量数据库产品对比和选择时造成了很多的疑惑和困难。

为此，我们近期开放了一套开源的向量数据库评测工具VectorDBBench（[https://github.com/zilliztech/VectorDBBench](https://github.com/zilliztech/VectorDBBench)）。

该工具包含一套标准化数据集，结合多个典型场景，覆盖数据插入与索引构建、向量查询、混合查询、数据容量等多个能力维度，同时支持用户自定义的数据集与测试场景。

我们欢迎开发者们参与到这个开源benchmark的开发和迭代中来，希望VectorDBBench能发展成为像ClickBench这样的行业标准。

**提问**：你认为向量数据库赛道未来竞争的核心是什么？

**星爵**：向量数据库作为一款数据库产品，“更大更快更便宜”是未来发展的核心趋势。更大是指能处理更大的数据量，这意味着支持百亿条数据甚至更高的可扩展性；更快是指更高的性能，包括毫秒级的响应时间和高达数万的QPS；更便宜是指更少的资源消耗更高的性价比，在相同资源消耗的情况下提供更强大的性能。

我们的Zilliz Cloud基于Milvus开源项目，这是全球现在唯一一款真正分布式的向量数据库系统，能提供数百亿条向量数据的毫秒级查询。得益于Milvus的云原生架构，Zilliz Cloud高效地实现了多租户能力，在相同的实例配置下，性能远超其他竞品。举个例子说，在基于VectorDBBench的评测中，Zilliz Cloud性能是Pinecone的两倍以上，综合性价比超过Pinecone三倍以上。

## 国内云产品即将推出
**提问**：Zilliz Cloud现在已经支持了AWS和GCP，有没有计划支持国内云平台？

**星爵**：我们计划在今年7月上旬推出国内的云服务产品，首期预计会支持阿里云、百度云、腾讯云和金山云，并将逐步覆盖国内更多的云厂商。Zilliz Cloud国内云产品定价相比海外产品将会有较大幅度的下调，致力于为国内用户提供最高性价比的全托管向量数据库服务。

**参考链接**：

1. Zilliz Cloud：https://zilliz.com/cloud

2. Milvus：https://milvus.iohttps://github.com/milvus-io/milvus

3. VectorDBBench：https://github.com/zilliztech/VectorDBBench

4. GPTcache：https://github.com/zilliztech/GPTCache

（本文为转载文章，原文刊载于微信公众号【量子位】）

🌟全托管 Milvus SaaS/PaaS 即将上线，由 Zilliz 原厂打造！覆盖阿里云、百度智能云、腾讯云、金山云。目前已支持申请试用，企业用户 PoC 申请或其他商务合作请联系 business@zilliz.com。

---

- 如果在使用 Milvus 或 Zilliz 产品有任何问题，可添加小助手微信 “zilliz-tech” 加入交流群。

- 欢迎关注微信公众号“Zilliz”，了解最新资讯。

large_7061.png

medium_7061.png

small_7061.png

thumbnail_7061.png

7061.png

给大模型持久记忆！GitHub 2万星向量数据库云服务升级，国内云产品下周上线

聊一聊向量数据库之于AI浪潮的意义

星爵从大模型存储的角度为大家详解向量数据库之于大模型的重要意义……

日前，由品玩主办的「模型思辨」国内大模型产业生态研讨会在北京举办，Zilliz 与 360 集团、阿里巴巴、昆仑万维等来自大模型产业链的头部公司及投资机构参会，会上 Zilliz 创始人兼首席执行官星爵、360 集团创始人周鸿祎、昆仑万维创始人方汉等重量级嘉宾更是从不同角度分享了对大模型的独到见解，精彩观点的交织与碰撞背后，是众人对于中国大模型未来的积极探索与期待。



其中，值得关注的是对于向量数据库的探讨，星爵从大模型存储的角度为大家详解向量数据库之于大模型的重要意义。



![6271.jpeg](https://assets.zilliz.com/cms-cn/6271_7c182cdb1f.jpeg)



星爵认为：



- 移动应用时代程序开发经历了从复杂到简单的过程，AI 浪潮的来临却从侧面提高了程序开发的成本，大模型时代之下 CVP Stack 这种新范式的出现改变了这一现状，在其加持下，人人都可能是 AI 时代的工程师。



- 大模型的发展离不开存储这一关键点，其中以 Milvus 和 Zilliz Cloud 为代表的向量数据库扮演着大模型记忆体的角色，可以让大模型们进行知识增强。



- 下一个 Killer App 会是智能体，它同样需要向量数据库的存储和检索能力。可以预见，向量数据库将迎来快速的市场规模增长，未来可期。




以下是星爵演讲的精彩观点：



## 01.从移动应用时代到大模型时代



当下的时代常被冠以很多花里胡哨的称谓，然而早在十年前，硅谷便感受过同样的热情。当时硅谷的每个周末或者任何一座大城市都有一群人在兴奋地探讨 iOS 和 Android。十年，我们见证了移动技术的成长，改变了生活的方方面面。



十年前，之所以有那么多移动开发者涌入这个赛道，原因是安卓和 iOS 极大地简化了移动开发的工具栈，降低了手机程序应用开发的难度。回到 AI 领域，尽管在过去十多年的时间里它一直处于不断升温的状态，但实际上整个领域的 Stack 比重相当高。这意味着，如果你想开发一个完整的 AI 程序，需要在不同板块中至少选择 1-2 个项目，并将这几十个项目串成自己要做的解决方案。



大模型出现以后，工具栈变得更加简化，开发者可以在一个周末的时间做出一个不错的 demo。而这并非是天方夜谭，如今火热的框架项目 LangChain、LlamaIndex、Semantic Kernel，做的都是同一件事，即让更多的开发者用框架将三个工具栈整合在一起。由此，便可以实现 12 个小时写出一个 AI 应用程序的想法，而这个应用程序比之前花费几百万开发出来的应用程序能力还要高。



这种模式就是 CVP Stack，其中，C 的意思是以 ChatGPT 为代表的大模型，它在 AI 程序中充当中央处理器的角色；V 代表 Vector Database，即以 Milvus 为代表的向量数据库，充当 embedding storage 的角色；最终会通过 prompt 的方式进行交互。在我的概念里，prompt engineering 并不是最终形态，所以对它的理解可以再深一层，变成 Product Design。事实上，你用 prompt 提出一个好问题和跟产品经理提出一个产品设计方面的好问题，在本质是一样的。



总结来看，在大模型时代下，无论你是否写过代码，只要你有一个 ChatGPT 账号、会写 prompt、找到一个 embedding 的数据库为模型提供相关领域的知识，甚至说为其提供一个缓存层，具备以上条件，你可以轻而易举地成为一个很好的工程师。举个例子，我们的同事用了两天就做出了一个ChatGPT + Milvus 向量数据库的应用，它的名字叫 OSSChat（https://osschat.io），用于解决开源项目文档冗长、不易查找等问题，目前已经支持几十个主流的开源项目，每天都有很大的访问量，用户甚至可以去生成开源项目的代码。



## 02.存储比计算更便宜，大模型也不例外



大模型更新的时间比较长，知识也具有一定的滞后性（例如 ChatGPT 的知识只停留在 2021 年底），如果用现在的数据库存储方式，可以把最新的知识提供给向量数据库，对大模型进行知识增强，可以得到更好的答案。不止如此，大模型的训练成本高昂也是不争的事实。



这次我想重点谈谈成本问题。在计算机发展史中，最经典的架构是冯·诺伊曼架构，最核心的贡献就是实现存储与计算分离，即把所有信息、所有计算归为计算问题和存储问题。存储与计算分离有各种各样的好处，传统的冯·诺伊曼架构是把信息用二进制代表，实现存储和计算分离。



大模型的本质是复杂的神经网络，在这个神经网络中任何数据的传输都需要 embedding 作为中间介质，可以说，embedding 就是传输信息的基本单元。因此，embedding 是在传统的抽象之上覆盖了一层适合 AI 或大语言模型进行语义抽象的数据表示。



而向量数据库负责的是 embedded 语义数据的存储与检索。我们要把大语言模型和向量数据库分为两个模块，就是存储与计算分离，正如冯诺伊曼架构一样。这样做的好处就是历史上存储价格永远比计算价格便宜几个数量级以上，大语言模型也不例外。假设有一个大模型可以做 100 KB Token，同样条件下，给到大语言模型运算的成本远大于做向量召回。如果这个大模型要做 1000 Token呢？运算成本将更加昂贵。虽然大语言模型未来会有越来越大的 Token 窗口，但我们本质上不会把所有信息都分到大模型里面，且大模型不能覆盖全世界所有信息。



未来向量数据库应该会成为大语言模型存储的标配，传统的数据库之所以不适合为大模型做存储，是因为它们没有语义表达且不能提供语义存储。如果说现在有一种数据库方案和存储方案，能够提供语义检索的话，只能是向量存储。



## 03. 下一个 Killer App



讲完过去一年半年的机会，我们来聊聊下一个机会是什么？



老周和轶航的对话有讲到智能体越来越被认为是下一代杀手级应用，对此，我很认同。大模型还需要人不停地给予提示，智能体希望通过做任务和场景拆解，解决无限复杂的问题，最终实现和人一样的自我演进的能力，或者形成自己独特观点和演化的能力。目前，智能体的商业化已经初露头角，例如 AI偶像，它不一定是大明星，可以是小网红，AI 通过复制一百个一千个自己和无数人谈恋爱来赚钱。



智能体需要记忆。人类的大脑有一个区域叫做海马体，负责长期记忆。记忆是人类智能很重要的部分，不可能今天把昨天的事情忘记还说自己很聪明。行业里面的正在尝试用向量数据库为智能体存储长期记忆，因为向量数据库的成本是很可控的。假设有一个数字人从第一天开始安装大脑，与其他人没有区别，但每次跟外界的感知、跟外界对话的过程它都会记下来：今天这个人问了我一个不好的问题，明天他又问了一个我特别喜欢的问题……十年以后我依然知道从前和这个人进行过怎样的交互。而如果要做这种大时间跨度的上下文记忆，一定要有一个具备低廉的成本、快速召回并且能够增大的记忆体。想要满足上述需求，向量数据库是很好的选择。



未来如果每个人都能够有几十个智能体帮助我们生产生活，像向量数据库这样具有语义检索的存储市场会迎来很大的增长。Zilliz 开始做世界上第一款向量数据库的时候，内存应用场景根本不是大语言模型，更多的是图片搜索、视频搜索，包括个性化的搜索引擎，但本质上都是用神经网络做成向量嵌入。大语言模型开发门槛的降低让这个领域成为面向开发者友好的 Killer 领域，所以我们认为向量数据库这个领域未来几年将迎来快速的增长与更加庞大的市场规模。



大模型时代，未来可期，而作为大模型记忆体的向量数据库，同样值得期待！



large_6262.png

medium_6262.png

small_6262.png

thumbnail_6262.png

6262.png

头部大模型公司进京赶考，向量数据库成为应考神器

大模型时代，未来可期，而作为大模型记忆体的向量数据库，同样值得期待！

向量数据库未来将迎来百万级的市场增长，未来可期。


近日，2023 全球开源技术峰会（Global Open-source Technology Conference，以下简称 GOTC 2023 ） 在上海张江科学会堂召开，**Zilliz 创始人兼首席执行官星爵、Zilliz 合伙人兼技术总监栾小凡以及 Zilliz 开发者关系及市场运营负责人李晨**受邀参会。

  

![图片](https://assets.zilliz.com/cms-cn/3fdfe9e1-f1e5-4e46-a08b-27828376ac1f.png)

  

GOTC  2023 由上海浦东软件园、开放原子开源基金会、 Linux 基金会亚太区和开源中国联合发起，以行业展览、主题发言、专题论坛、开源市集多种形式呈现， 主题为 Open source，into the future，在本次主题的框架之下，开源、AIGC、供应链安全等话题成为大会讨论的重点。

  

**其中，引人侧目的是主论坛关于 AIGC 主题的讨论。**2023 年，ChatGPT 的发展引发 AI 领域关于 AIGC 技术的讨论。**在腾讯开源联盟主席、OpenCloudOS 社区秘书长单致豪的主持下，LF AI & Data 基金会执行董事、PyTorch 基金会执行董事 Ibrahim Haddad，Zilliz 创始人兼首席执行官星爵，NVIDIA 工程和解决方案高级总监赖俊杰，Untiy 中国技术副总裁左瑞文探讨了 AIGC 技术如何重塑互联网领域和全球社会。**

  

![图片](https://assets.zilliz.com/cms-cn/340621d7-6606-4f4a-8a5a-011cf92c963f.png)

  

星爵表示：“以 ChatGPT 为代表的大模型仍处于发展过程中，‘知识储备’十分有限，经常出现‘AI 幻觉’，加上大模型的训练成本高昂，使得大模型的应用受到诸多限制。向量数据库作为大模型的记忆体，不仅能够为其提供数据存储，而且能通过数据检索的方式让大模型进行知识增强。在向量数据库的加持下，大模型将变得博闻强识、成本可控。”

  

![图片](https://assets.zilliz.com/cms-cn/eb64982d-ed72-4ffb-8fe9-a0af019c2d4a.png)

**Zilliz 创始人兼首席执行官星爵**

  

在随后关于开源话题的探讨中，星爵感慨颇深：**从大教堂模式到集市模式，开源以它那海纳百川般的创新精神感染着每一位开发者，也为开源项目赋予了持久的生命力和力量，Zilliz 的第一个开源项目 Milvus 也不例外。**从在 GitHub 上将第一行代码开源到成长为全球领先的向量数据库，从一个开源项目发展成拥有成千家企业级用户体量的产品，Milvus 受益良多，而这一切都源自开源。

  

开源的力量自不必说，这股星星之火烧到了大模型时代，星爵认为，未来一定会出现越来越多的开源模型，尤其是垂直领域的小模型。当下，ChatGPT 的通用大模型是超级计算机，而大家手中常用的工具是 PC 笔记本、手机等，未来可能同时需要十几个模型配合工作，这时候小模型的优势就会凸显出来。再配合垂直领域训练，小模型在资源配置方面会变得更加高效。因此，**开源大模型与开源小模型并存将是常态。**

  

**在次日的“数据与数据库技术”论坛中，栾小凡则带来了名为《大模型构建的 AI 原生数据库 Milvus》的主题演讲。**

  

![图片](https://assets.zilliz.com/cms-cn/3562bf70-bec1-4975-9f48-9c5b89a4c5fc.png)

**Zilliz 合伙人、技术总监栾小凡**

  

栾小凡提到，当下“AI 幻觉”是大模型的主要痛点之一，由于信息密度不足，大模型经常会生成一些无意义或不可信的内容。在此情况下，有三种方案可以解决这一问题：微调模型、控制 prompt、构建知识库。

  

微调模型是大概三五年前比较流行的处理方式，一来需要足够多的数据对微调进行支撑，二来对算力要求较高，整体较难实现。控制 prompt 是通过 prompt 对内容的选择和长度加以限制，不过这同时也会限制信息量，最终仍无法得到理想的结果。知识库是为大模型灌输额外的知识，为其提供更多参考，不过由于知识库的内容未必都对问题有帮助，需要对它们进行语义搜索或初步筛选，这时候便需要 CVP Stack。

  

**何为 CVP Stack？**C 是 ChatGPT，即利用大语言模型实现以 ChatGPT 为代表的智能问答；V 是 Vector database，即通过向量数据库为 ChatGPT 提供大规模的、可靠的知识库；P 是 Prompt as code，即使用提示匹配用户问题与来自知识库的参考内容。CVP Stack 的应用场景代表为面向开源用户和开源社区运维人员的问答机器人 OSSChat（https://osschat.io/）以及 GPT 的缓存层 GPTCache(https://github.com/zilliztech/GPTCache)。

  

**在整个 CVP Stack 中，向量数据库扮演着重要角色，它是为 AI 而生的数据库，Milvus 是这一赛道的奠基者与领先者。**Milvus 2.0 是云原生分布式的一款向量数据库，具有百亿规模的向量可扩展性，能够实现存储计算分离、离在线一体化等。同时，Milvus 2.0 的性能亦值得关注，它的查询速度高于 ES 10 倍，高于主流竞品 2 倍，具备毫秒级延迟响应。此外，可插拔引擎、云端一体的特点也让 Milvus 2.0 成为全球领先的向量数据库。

  

**而 Milvus 的下一站是全托管 SaaS 服务的 Zilliz Cloud**，它具备维护成本低、使用门槛低、丰富的企业级特性、安全放心的特点。目前，Zilliz Cloud 已支持 AWS、GCP，今年 6 月底即将登陆阿里云，以便能够更好地为国内用户服务。

  

**在“AI is Everywhere”的论坛上，李晨以《向量数据库，大模型的记忆体》为主题进行了分享。**

  

![图片](https://assets.zilliz.com/cms-cn/70aac8a2-cc11-4cbd-9e72-307fab1e101c.png)

**Zilliz 开发者关系及市场运营负责人李晨**

  

李晨着重解释了向量数据库为何是大模型的记忆体。他表示，在 CVP Stack 之中，Vector Database 作为一个大模型的外部存储，可以为大模型提供最有效的知识增强方案。再深入点理解，如果把大模型看作人类的大脑，那么这个大脑除了需要具备强大的计算能力，还需要拥有与之匹配的存储能力。在传统的经典计算架构中，冯·诺伊曼架构是计算与存储分离的形式，这也成为大模型的趋势。原因在于，纵观整个计算机发展历史，存储的价格远低于计算价格一个乃至多个数量级，大模型也不例外，在成本与计算的双重考量下，如向量数据库一般的外部存储的重要性，不言而喻。

  

**在向量数据库的加持下，大模型将以更低的成本得到更智能的知识增强效果。**那么，得到知识增强后的大模型，下一站在哪里？**答案是智能体（ Intelligent agents）**。

  

例如 Auto-GPT，可以理解为完全自制的 GPT-4，它具备思维推导与执行的能力，未来甚至可能产生类似智能体的思考。又如斯坦福和谷歌做的名为“Generative Agents: Interactive Simulacra of Human Behavior”的研究，他们在一个虚拟环境中模拟了几个卡通人，每个卡通人都具备自主的判断能力和意识，可以在虚拟世界中生活、交互、成长。

  

此外，第一个智能体机器人的虚拟社区  Chirper.ai、AI 分身、小说创作公司开始制作人物的虚拟实体、游戏公司开始用虚拟分身与玩家交互、聊天……

  

这其中，除了需要借助大模型的能力，也要用到向量数据库的能力。在此情况下，向量数据库未来将迎来百万级的市场增长，未来可期。

  

*   **关于 Zilliz**
    

  

Zilliz 作为向量数据库领域的拓荒者与奠基者，不仅开创了向量数据库赛道，也提供了世界上最快的向量数据库产品。随着近一年来大模型的火爆，Zilliz 也迎来了全世界的关注：早在 3 月份英伟达全球开发者大会上，Milvus 便作为向量数据库的代表被黄仁勋提名；紧接着 Zilliz 旗下的 Milvus 和 Zilliz Cloud ，也成为了 OpenAI 官方首批 plugin 合作的向量数据库。最近，Zilliz 先后接入和支持了各种热门的项目，例如 LangChain、 Auto-GPT、BabyAGI 等，成为全球最炙手可热的向量数据库品牌。

  

Zilliz 产品生态丰富，致力于构建开源+云的大模型加强方案，其中开源向量数据库 Milvus 扮演着大模型知识库的角色；Towhee 可以为大模型提供编排服务；GPTCache 则为大模型提供缓存；Zilliz Cloud 可以为用户提供开箱即用的全托管向量检索服务。

large_5313.png

medium_5313.png

small_5313.png

thumbnail_5313.png

5313.png

Zilliz @ GOTC：大模型的记忆体——向量数据库的现在与未来

在向量数据库的加持下，大模型将变得博闻强识、成本可控。

从 3 月 到 5 月，我们与星爵一起见证了向量数据库从默默无闻到成为行业大热的完整过程，并和他陆续探讨了大模型的演化、向量数据库的价值和意义，以及 AI Native 应用演进等一系列问题。

medium_611.png

small_611.png

thumbnail_611.png

611.png

极客公园对话 Zilliz 星爵：大模型时代，需要新的「存储基建」

向量数据库之于大模型的价值是什么？

Zilliz 作为 OpenAI 首批受邀合作伙伴，向 ChatGPT 贡献了向量数据库插件的向量检索服务，打通了知识召回与大型语言模型之间的桥梁！


![图片](https://assets.zilliz.com/cms-cn/2d67b14b-3373-451c-bf65-f86dc8ea1510.png)

  

Zilliz 又双叒叕有好消息传来！  

  

自 NVIDIA GTC Keynote 被黄老板点名后，Zilliz 又加入“大网红 OpenAI ”的朋友圈——作为首批受邀合作伙伴，向 ChatGPT 贡献了向量数据库插件的向量检索服务，打通了知识召回与大型语言模型之间的桥梁！

  

## ChatGPT 联网，向量数据库已加入“团战”

  

今晨，OpenAI 再次向科技行业扔出重磅武器——部分解除 ChatGPT 无法联网的限制。OpenAI 通过接入第三方插件让 ChatGPT 得以联网，达到“眼观六路耳听八方”的效果，这意味着，**ChatGPT 自此可有真正做到检索实时信息、检索知识库信息、代表用户执行操作。**

  

在此情况下，如何使 ChatGPT 从数据源中获取最为精准的信息便显得尤为关键，这其中向量数据库的重要性不言而喻。OpenAI 在公告中明确表示：**开源检索插件使得 ChatGPT 经许可后访问个人或组织的信息源。它允许用户通过提问或用自然语言的方式表达需求，并从他们的数据源中获取最相关的文档片段，例如文件、笔记、电子邮件或公共文档。**

  

而为了更好地为开发者提供相应支持，**OpenAI 提供了 6 个可以实现有效检索的向量数据库，而 Milvus 和 Zilliz 同时入选。**向量数据库能够有效帮开发者或用户进行索引和文档搜索。

  
## 大模型时代，我们为何如此重要？

  

  

大模型浪潮汹涌而至，向量数据库注定要掀起一波检索巨浪。**如果说 ChatGPT 是 LLM 的处理核心，prompts 是 code，那么向量数据库就是 LLM 需要的存储。**

  

Milvus 是全球首家以“向量数据库”命名的非结构化数据项目，由商业公司 Zilliz 进行运营支持，是行业公认的“世界上最快的向量数据库”。**目前，Milvus 已得到全球上千家企业级用户的信赖，包括 NVIDIA、eBay、Shopee、Walmart、快手、宜家等，最大部署规模超过 10 亿向量。**同时，在很多应用场景下，Milvus 的 QPS 超过 10K。

  

**Milvus 典型的应用领域包括长文本、图片、视频等**，在长文本领域，可以进行翻译、问答、语义检索、情感分析，语义检索和问答可以与 ChatGPT 配合使用，提升其回答的准确度；在图片领域可以进行去重、目标检测、图片检索、多模态的图文互搜；在视频领域进行推荐、合规检测、分类等。

  

当然，也有很多新兴的应用场景，包括在生物制药领域把生物分子式转化成向量，判断生物小分子与蛋白质能否紧密结合；在音频领域进行去重、情感分析；在风控领域识别潜在的风险；在自动驾驶领域可以通过向量检索帮助自动驾驶找出实时判断过程中没有分析出来的物体。

  

**Zilliz 拥有双重身份，它不仅仅是 Milvus 背后的商业公司，也拥有 Zilliz Cloud 这样的云原生向量数据库服务产品**，在 Milvus 的基础上，有效帮助用户解决在运维、部署、性能等方面的问题，真正做到“忘记复杂，关注业务和数据本身”。

*   参考资料  
    ****
    

**1\. Milvus**：https://milvus.io/

**2\. Zilliz**：https://zilliz.com/

**3\. 检索插件存储库**：https://github.com/openai/chatgpt-retrieval-plugin

**4\. OpenAI** ：https://openai.com/blog/chatgpt-plugins

  

large_11111.png

medium_11111.png

small_11111.png

thumbnail_11111.png

11111.png

重磅！ChatGPT 联网，Milvus & Zilliz 正式嵌入用于向量检索！

ChatGPT 联网，向量数据库已加入“团战”

在加速库部分，黄仁勋首次提及向量数据库（Vector Database），并强调对于构建专有大型语言模型的组织而言，向量数据库至关重要。


**“AI 的 iPhone 时刻已经到来。”**

  

在刚刚结束的 NVIDIA GTC Keynote 中，这句话被 NVIDIA CEO 黄仁勋反复提及，长达 1 个多小时的分享中，生成式 AI 相关的内容占据了绝大部分比重。他表示，生成式 AI 的火热能力为企业带来了挑战，因而此次 Keynote 的重点主要是讨论“加速计算和 AI 如何成为强大的工具，帮人们应对这些挑战和把握未来的巨大机遇。”

  

在加速库部分，黄仁勋首次提及向量数据库（Vector Database），并强调**对于构建专有大型语言模型的组织而言，向量数据库至关重要。**

  

## 向量数据库为何如此重要？

  

**NVIDIA GTC**（英伟达 GPU 技术大会）是 AI 与元宇宙时代的开发者大会，参会者通常是学生、开发者、研究人员、创作者、IT 决策者、企业领袖等，主要探讨如何利用 AI、加速计算、数据科学等技术力量塑造当今世界。此次 GTC Keynote，生成式 AI 毫无悬念地成为焦点。

  

![](https://assets.zilliz.com/cms-cn/1da6117c-38d1-47f3-8a5e-403c1625156c.png)

**NVIDIA CEO 黄仁勋**

  

在介绍加速库部分，黄仁勋提到，推荐系统普遍使用向量数据库来存储、索引、搜索和检索非结构化数据的大型数据集。向量数据库的一个新型重要用例是大型语言模型，在文本生成过程中可用于检索领域特定事实或专有事实。

  

“我们将推出一个新的库，即 RAFT，用于加速索引、数据加载和近邻检索。我们正在将 RAFT 的加速引入到 Meta 的开源 FAISS AI 相似性搜索，**超过 1000 家组织使用的 Milvus 开源向量数据库**以及 Docker 镜像下载次数超过 40 亿次的 Redis。对于构建专有大型语言模型的组织而言，向量数据库至关重要。”黄仁勋表示。

  

![](https://assets.zilliz.com/cms-cn/a8d5c024-8380-427b-aca2-3e699afa0b4f.png)

  

  

## Milvus：世界上最快的向量数据库

  

黄仁勋在 Keynote 中提到的 Milvus 是全球首家以“向量数据库”命名的非结构化数据项目，由商业公司 Zilliz 进行运营支持。截至目前，Milvus **已得到全球上千家企业级用户的信赖，包括 NVIDIA、eBay、Shopee、Walmart、快手、宜家**等，最大部署规模超过 10 亿向量。同时，在很多应用场景下，Milvus 的 QPS 超过 10K。

  

Milvus 典型的应用场景包括：在长文本领域，可以进行翻译、问答、语义检索、情感分析，语义检索和问答可以与 ChatGPT 配合使用，提升其回答的准确度；在图片领域可以进行去重、目标检测、图片检索、多模态的图文互搜；在视频领域进行推荐、合规检测、分类等。

  

当然，也有很多新兴的应用场景，包括在生物制药领域把生物分子式转化成向量，判断生物小分子与蛋白质能否紧密结合；在音频领域进行去重、情感分析；在风控领域识别潜在的风险；在自动驾驶领域可以通过向量检索帮助自动驾驶找出实时判断过程中没有分析出来的物体。

  

值得一提的是，Milvus 近日上线了支持 GPU 的 2.3 Beta 版本，灵活性和性能得到显著提升。不止如此，Milvus 2.3 Beta 版本还增加了 upsert、rangesearch、mmap 等社区用户呼声较高的功能，将为用户带来全新的升级体验！

  

**AI 的 iPhone 时刻已经到来，作为 AI 基础设施的向量数据库 Milvus 亦站在了新的节点上。**

  

Zilliz 新闻中心

公司新闻