技术干货

揭秘 LlamaIndex|如何持久化存储 LlamaIndex 向量索引?

2023-07-26
Yujian Tang

Yujian Tang

揭秘 LlamaIndex|如何持久化存储 LlamaIndex 向量索引?

大模型时代什么最火?

除了 ChatGPT 以外,诸如 LangChain、LlamaIndex 等构建大模型应用设计的工具热度也一直居高不下。为此,我们推出了【解码 LangChain】系列教程帮助大家轻松上手,接下来便是 【揭秘 LlamaIndex】系列,大家可以按需跳转阅读。

回到 LlamaIndex,随着 AGI 时代的到来,越来越多的开发者开始思考如何有效利用大模型,不过,大家在构建 LLM 应用时普遍会面临三大挑战:

  • LLM 的使用成本高昂

  • LLM 无法及时提供最新信息

  • LLM 缺乏特定专业领域的知识

针对上述问题,业界主流的做法是采用两种主要框架:微调和缓存 + 注入。

微调主要是针对后两点挑战(缺乏正确信息)的解决方法,而缓存 + 注入则是为了解决使用成本高昂的问题。同时,缓存 + 注入的框架也被称为 CVP 架构(即 ChatGPT + Vector Database + Prompt-as-Code)。

在此情况下,LlamaIndex 应运而生。作为一个专为构建 LLM 应用设计的新工具,它可以为用户抽象出上述框架中的内容。

本文为【揭秘 LlamaIndex 系列】,此前我们已经邀请 LlamaIndex 的联合创始人详解【如何使用私有数据提升 LLM 的能力】,也细致介绍过 LlamaIndex 的各式索引,以及如何查询 LlamaIndex 向量存储索引的简略教程。本次,我们将着重讲解如何在 LlamaIndex 中创建并存储向量索引及 2 种持久化存储向量索引的方法。

LlamaIndex 简介

LlamaIndex 可以看作管理用户数据和 LLM 之间交互的工具。LlamaIndex 接收输入数据并为其构建索引,随后使用该索引来回答与输入数据相关的问题。LlamaIndex 可以根据手头的任务构建许多类型的索引,例如:向量索引、树索引、列表索引或关键字索引。

每个索引都有其优点和适用场景。例如,列表索引适用于需要处理大量文档的场景;向量索引适用于语义搜索系统;树索引适用于处理稀疏信息的场景;关键字索引适用于查找特定关键字的场景。(详细介绍可阅读《破解提升 LLMs 性能的黑匣子—— LlamaIndex》)

在使用 LlamaIndex 时,我们可以存储并加载上述索引进行会话管理。通常情况下,可以本地存储索引上下文。如果想要使用持久化存储引擎来存储索引,以便在后续应用搭建过程中使用,可以参照下文的教程。

创建并保存 LlamaIndex 向量索引

以下教程直接使用了 LlamaIndex 仓库中示例文件夹的数据。请先在本地克隆仓库,并在 paul_graham_essay文件夹中创建 notebook,或从该文件夹直接下载数据,在本地使用代码。

使用本地向量数据库

本教程中,我们使用开源向量数据库 Milvus 的 Milvus Lite 版本。使用 Milvus Lite 版本,可以直接在 notebook 中运行代码,无需任何额外的工作。

  1. 安装所需软件和环境。不过用户需要 OpenAI API key 才可以使用 GPT 模型,如果需要将 OpenAI API key 存储在.env文件中,请务必安装python-dotenv库。
pip install Milvus llama-index python-dotenv
  1. 导入
  • llama_index中导入GPTVectorStoreIndexStorageContext以及vector_stores模块中的 MilvusVectorStore
  • Milvus中导入default_server
  • 导入了osload_dotenv以加载 API key
from llama_index import GPTVectorStoreIndex, StorageContext
from llama_index.vector_stores import MilvusVectorStore
from milvus import default_server
from dotenv import load_dotenv
import os
load_dotenv()
open_api_key = os.getenv("OPENAI_API_KEY")
  1. 启动向量数据库
  • 调用 default_server上的 start()命令来启动本地 Milvus Lite 实例。
  • 使用 MilvusVectorStore 连接向量存储,并传入主机和端口参数。
default_server.start()
vector_store = MilvusVectorStore(
   host = "127.0.0.1",
   port = default_server.listen_port
)
  1. 配置存储上下文,以便 LlamaIndex 了解在哪里存储索引。然后使用 GPTVectorStoreIndex创建索引,并传入创建索引的文档和存储上下文。随后我们就可以像平常一样查询索引。

本例中,我们通过 "What did the author do growing up?(作者成长过程中做了哪些事?)"这个问题进行查询。查询时,系统会为这个问题创建向量索引,从而抽象出“作者”、“成长”等词汇的语义。

storage_context = StorageContext.from_defaults(vector_store=vector_store)
index = GPTVectorStoreIndex.from_documents(
   documents, storage_context=storage_context
)
query_engine = index.as_query_engine()
response = query_engine.query("What did the author do growing up?")

查询后,得到的响应如下:

“Growing up, the author wrote short stories, programmed on an IBM 1401, and nagged his father to buy him a TRS-80 microcomputer. …”(成长过程中,作者写了短篇小说、在一台 IBM 1401 计算机上编程,并劝说他父亲为其购买一台 TRS-80 微型计算机。……)

使用云端向量数据库

需要注意的是,如果遇到海量数据,我们推荐使用云端向量数据库来存储 LlamaIndex 向量索引。

以下教程中使用了 Zilliz Cloud向量数据库。Zilliz Cloud 提供全托管的 Milvus 服务。使用 Zilliz Cloud 前,请先注册账号,并创建 1 个 Collection。

与 Milvus 不同,使用 Zilliz Cloud 时需要提供 HOSTPORTUSERPASSWORD。你可以在 Zilliz Cloud 界面中查看上述主机、端口、用户名和密码信息。

✅ 以下为正确代码示例:

vector_store = MilvusVectorStore(
   host = HOST
   port = PORT,
   user = USER,
   password = PASSWORD,
   use_secure = True,
   overwrite = True
)

❌ 以下为错误代码示例:

vector_store = MilvusVectorStore(
   host = "127.0.0.1",
   port = default_server.listen_port
)

探索国内 Zilliz Cloud 云服务可点击链接进行注册

本文作者为 Zilliz 开发者布道师 Yujian Tang,文章最初发表于 Toward AI,已获得转载许可。

🌟「寻找 AIGC 时代的 CVP 实践之星」 专题活动即将启动!

Zilliz 将联合国内头部大模型厂商一同甄选应用场景, 由双方提供向量数据库与大模型顶级技术专家为用户赋能,一同打磨应用,提升落地效果,赋能业务本身。

如果你的应用也适合 CVP 框架,且正为应用落地和实际效果发愁,可直接申请参与活动,获得最专业的帮助和指导!联系邮箱为 business@zilliz.com。

Zilliz Cloud 免费试用

免费试用

分享文章