揭秘 LLMs 时代向量数据库的 3 大实用场景
过去一年,ChatGPT 和其他大语言模型(LLMs)的爆火也带动了向量数据库的发展。
许多用户在搭建检索增强生成(RAG)系统过程中选择了使用向量数据库 Zilliz Cloud ,但 Zilliz Cloud 的功能不止于此,它在搜索和检索系统中的应用也十分广泛。这也反映出了 Zilliz Cloud 产品的设计初衷——帮助计算机真正理解人类数据,包括文本、图像、银行交易用户行为等。
近期,Zilliz Cloud 发布了新版本,并上线了 Range Search、多租户和 RBAC 等新特性。同时,Zilliz Cloud 搜索和索引性能也提升了 10 倍,获得了许多用户的积极反馈。本文将通过 3 个真实的用户案例,展示 Zilliz Cloud 的新特性是如何为其赋能的。
01.智能问答机器人
对于智能问答机器人而言,一个重要组成部分就是记忆——特指传入 LLM 中的上下文文本片段。通过记忆,问答机器人就可以获取历史信息。但是 LLM 的上下文窗口有着严格限制:
1)长度限制
2)上下文过长将明显降低文本生成速度
3)大多数长上下文 LLM 只倾向于“记住”上下文窗口开始和结束的信息
向量数据库能够很好地解决上述问题。以客服机器人为例,机器人会收到许多不同的信息,包含原始知识库、用户的所有提示、用户上传的图像、音频片段、回复内容等,这些都存储在 Zilliz Cloud 中以便进行快速检索。每当用户输入消息时,都会优先检索来自知识库和之前对话的所有相关内容。这样一来,系统的读写负载会加重,每秒需要存储大量消息数据。此外,提供给客服机器人的的数据本质上是多模态的,因此,仅有文本搜索是远远不够的。
Zilliz Cloud 的分布式数据库架构能够很好地解决上述问题:增加查询节点数量以提高读取吞吐量,增加数据节点数量以提高写入吞吐量。此外,新发布的 Cardinal 搜索引擎中进行了多方面的性能优化,包含 Zilliz 自研的向量索引、机器代码级别的计算优化,以及优化缓存感知算法等。
总而言之,在问答机器人的用例中,用 Zilliz Cloud 后可以实现与其他向量数据库相同的搜索和索引吞吐量,但价格却不到其他解决方案的三分之一。因此,在考虑成本但同时保障性能的用例中,Zilliz Cloud 绝对是一个不错的选择。
02.商品推荐
推荐系统(https://zilliz.com.cn/use-cases/recommender-system)会根据消费者之前的观看或浏览历史推送各种内容,例如产品、新闻、用户内容等,向量数据库非常适合用来搭建这类应用。开发者可以将内容转化为向量并将数据存储在 Zilliz Cloud,随后通过调用collection.search
便可轻松进行向量相似性搜索获取相关内容,完成推荐。
搜索速度和相关性是所有 B2C 产品的基石。在电商领域,产品推荐结果对整体用户体验尤为关键,很大程度上可以决定收益。Zilliz 在实际应用中发现,有用户的诉求就是通过借助 AI 的力量提升产品推荐系统性能。这些用户和用例对延时和吞吐量有着极高要求——向量数据库需要在 10 毫秒内完成查询。此外,推荐系统还需对搜索结果进行过滤(例如,根据服装的特定尺寸或特定鞋码筛选搜索结果)。从本质上来说,商品数据是复杂的多模态数据,包含了产品名称、产品描述、产品图片等数据。
Cardinal 能够满足用户对性能的要求,再配合动态 Schema 功能和支持 JSON 的特性加持,Zilliz Cloud 便成为此类用户的不二之选。有了 Zilliz Cloud,用户便能够根据每个产品类别的特定特征,定制自己的数据模型,从而确保有效存储和查询每个商品向量数据多样且复杂的元数据。
03.AI 制药
制药过程极其复杂困难,不同的药物分子大小不同,有些药物可能具有几十个原子的“小分子”,有些则是具有数万个原子的大型生物制剂。机器学习可以根据药物功效(如治疗特定疾病或缓解特定症状)将每个分子转化为向量。
在此用例中,Zilliz Cloud 的 Rang Search 功能就能发挥关键作用。研究人员可以将需要治疗的疾病或症状转化为向量,并在 Zilliz Cloud 中搜索相关药物。相比基础的 top-k 搜索,Rang Search 能够在一定距离内找到与目标相似的所有向量(分子),提供所有在此范围内的相关搜索结果,而不仅仅是固定数量的结果。此功能不仅对 AI 制药至关重要,也适用于欺诈保护、网络安全等领域。例如,在银行系统中,我们可以将交易转化为向量并通过范围搜索与新交易进行比较,以识别类似的历史活动,有助于进行异常检测。
本文中我们通过 3 个业界典型用例介绍了 Zilliz Cloud 的部分新特性,欢迎大家上手尝试 (https://cloud.zilliz.com.cn/signup) !