Zilliz 新闻中心
独家专访Zilliz创始人兼CEO星爵先生：论向量数据库在大语言模型时代的高光时刻

独家专访Zilliz创始人兼CEO星爵先生：论向量数据库在大语言模型时代的高光时刻

By Mia王璟晗 on 2024-07-19

北京时间2024年3月11日下午12:30， World Science Hill独家专访了Zilliz 的创始人兼首席执行官，全球最流行的面向 AI 应用场景的开源向量数据库系统 Milvus 的发明人星爵先生。

new1.webp

World Science Hill创始人Mia王璟晗独家专访星爵先生视频截图

【本期人物专访】星爵

zhaop.webp

星爵先生是 Zilliz 的创始人兼首席执行官。（作为向量数据库头部公司的Zilliz截至2023年，累计完成了1.13亿美元的融资。）全球最流行的面向 AI 应用场景的开源向量数据库系统 Milvus 的发明人。星爵先生自2020年起担任 Linux Foundation AI & Data 基金会董事，并于 2020 年至 2021 年期间出任董事会主席。在创立 Zilliz 之前，星爵先生于甲骨文美国总部任职，是全球首个云端多租户数据库系统 Oracle 12c 的奠基人之一。星爵先生拥有威斯康星大学麦迪逊分校计算机科学硕士学位、华中科技大学学士学位。

1.能否简单介绍一下您和您的团队最近正在做的工作？

new3.webp

随着AI的浪潮涌现，非结构化数据处理这一需求对现代数据库提出了全新的要求，我们也尽力满足用户的这些要求。

具体来说有两个方面，一是把向量数据库的非结构化数据这方面的成本在未来的一年内降低10倍以上，在未来三年降低100倍以上，从而让我们的数据库在所有的企业得到更大规模的部署，让更多的人用起来。二是提高数据库的检索精度，以符合部分客户公司业务对于精度的特定要求，从而增加更多的应用产品。

new4.webp

2.相信有很多我们的读者都是第一次听说向量数据库这个概念，能否请您做简单的介绍，向量数据库和普通的数据库有什么区别呢？

new5.webp

向量数据库与普通数据库的区别主要在以下几点。

第一就是它们所处理数据的类型不一样。向量数据库处理的海量的非结构化数据，包含我们日常的图片、视频、语音、文本等等。而传统的数据库系统主要处理的则是结构化数据，结构化数据主要就是一些比较简单的数字、字符串这些。

所以，向量数据库在语义理解上，需要通过AI模型去挖掘，从而将非结构化数据转化为高维的向量。无论是图片还是视频，多模态的AI模型都可以相应地输出中间层的特征，完成对语义的理解和编码，这在传统数据库中是没有的。

new5.1.webp

第二个不同点在于所服务的场景和应用领域。向量数据库是为广大的AI开发者和如今的这个AI时代量身定做的，尤其是其中对图片、视频、文本的语义理解让很多相关的AI应用受益匪浅。我们服务的主要包括大语言模型、视频理解、图片查找、基于AI的推荐系统等等。

相比较而言，传统数据库系统诞生在四五十年前，更多地是为IP时代以及数据的信息化去服务的，因此它们主要服务的产品包括这种像 ERP、CRM系统等传统任务。

这两大区别也就必然导致了第三点，产品技术路线与设计方面，我们与传统数据库有着根本上的不同。所以在2018年作为全球第一家向量数据库厂商开始做相关向量数据库产品的第一天开始，我们从存储、调度、执行引擎，包括分布式、数据的一致性等等。

在每一个层面上 from scratch 地去建造这样的一个系统，并去满足这些相应地性能要求。由于非结构性数据的量特别大，所以数据库的性能和可扩展性都成为了一个很大挑战，向量数据库所服务的这些AI原生的场景，也让我们开始思考如何去满足广大用户对视频处理、自然语言处理、图片检索等方面的需求。基于多方面的原因，我们在技术和架构上也与传统的数据库系统有着本质的区别。

3.在您看来，数据库在我们的日常生活中都有哪些领域的应用，在科学发展中数据库又扮演了什么样的角色？

new7.webp

现在对于向量数据库，大家可能感知不那么明显，但其实它已经在很多方面影响着我们的生活了。举个例子来说，我们有很多用户平时会使用由大语言模型所支持的知识发现以及聊天的一些工具，比如ChatGPT、Perplexity，这样问答系统的背后其实都有着向量数据库的身影。通过 retrieval augmented generation 的方式，我们可以把自己的一些领域知识以及我们的一些个人喜好提供给大语言模型的问答系统，从而得到更精准的回答，来帮助大语言模型去消除其 hallucination。

在这些深层次的对话管理中，对于上下文的保存其实也是通过向量数据库的技术在后台实现的。如今大语言模型的进展日新月异，还涌现了像Sora这样视频生成模型。从科学认知层面来讲的话，这些大模型它的训练、调优，以及每次迭代中，也都离不开向量数据库通过百亿甚至千亿级别的语料和视频的分析比对。

new8.webp

甚至在生命科学、生物制药的领域，向量数据库在过去五年中一直发挥着很重要的作用。很多药厂的药物研发团队和科研机构会去分析小分子的三维结构，还有蛋白质的三维折叠的几何结构，和人类基因序列的结构，这三种数据都是比较复杂的非结构化数据，因为它们的结构会影响到生物活性以及药理作用，所以我们会用AI模型把这些蛋白质的三维几何结构变成高维空间中的 embedding，然后通过embedding来关联结构属性与生物活性，从而完成对药物的筛选。

我们看到越来越多的AI药物筛选方向的实验室，都会通过向量数据库的方式来先行在电脑上用AI模型做虚拟药物筛选，从上百亿的备选药物中找到一些潜在机会或者结构去进一步推动下一步的药物筛选，迅速加快新药发现的流程。

4.您和您的团队在设计数据库的过程中，是如何打造灵活的数据处理功能，并防止出现个人信息的泄漏或者误用呢？

new9.webp

事实上，从我们做产品的第一天起，我们就把数据安全作为一个重中之重。包括我们开源的 Milvus系统，它是全球最为广泛使用的向量数据库系统，现在全球有5000多家企业在每天的生产环境里面运行我们的Milvus系统，现在在全球也达到了2000多万的安装以及超2500万的下载量。

我们从第一天起就在开源的 Milvus 系统中设计了数据的访问控制与权限管理等一系列面向数据安全的功能，在数据传输层我们也支持像HTTPS这样的数据加密传输协议等等。在我们的商业化产品 Zilliz Cloud 中，我们也从第一天就开启了数据合规和数据安全的治理，我们很早就通过了SQL的compliance，现在也即将完成GDPR的compliance。

new10.webp