Zilliz X Dify.AI ,快速打造知识库 AI 应用
Zilliz 大模型生态矩阵再迎新伙伴!近日,Zilliz 和 Dify.AI 达成合作,Zilliz 旗下的产品 Zilliz Cloud、Milvus 与开源 LLMOps 平台 Dify 社区版进行了深度集成。
01.Zilliz Cloud v.s. Dify
Dify 作为开源的 LLMs App 技术栈,在此前已支持丰富多元的大型语言模型的接入,除了 OpenAI、Anthropic、Azure OpenAI、Hugging face、Replicate 等全球顶尖模型及模型托管平台,也完成了国内主流的各大模型支持(如文心一言、智谱 AI 等)。
而 Zilliz Cloud 和 Milvus 则是向量数据库的领先代表。
其中,Milvus 是全球最受欢迎、迭代最快、架构最成熟的开源向量数据库,拥有庞大的开发者社区,开源 4 年来下载量已超 600 万次,得到了来自全球数千家企业用户的信赖。
Zilliz Cloud 是基于 Milvus ,并由原厂打造的全托管 SaaS 及 PaaS 向量数据库服务产品,提供深度优化、开箱即用的向量数据库体验。使用 Zilliz Cloud 可以轻松构建十亿级向量数据库,部署和扩展向量搜索服务。由全球顶尖的向量数据库团队 Zilliz 提供运维、优化、及综合支持。目前,Zilliz Cloud 已在全球上线,覆盖 AWS、GCP、Azure、阿里云、百度云等。
在顶级云原生向量数据库与 LLMs APP 技术栈的双重加持下,用户不仅可以轻松提升 AI 应用的开发效率,同时还能解锁更多向量数据库的应用场景。
02.快速打造知识库 AI 应用
具备知识库的 AI Chatbot 已然是当下基于大模型技术实现及应用最多的情景,接下来,我们将以制作一个具备 Dify 产品及团队知识背景的 AI 应用为例,为大家介绍如何从零开始,用 3 步搭建一个具备企业知识库的 AI 应用。
平台注册
在本次实操演示中,我们采用 Dify.AI 社区版进行部署,以接入 Zilliz Cloud 为例。第一步,需要前往 Zilliz(https://cloud.zilliz.com.cn/signup)注册,并创建 Zilliz Cloud 的集群。
zillizXDify.PNG
修改 Dify 的环境配置
在 GitHub 下载 Dify 镜像文件(https://github.com/langgenius/dify),参考Dify部署文档(https://docs.dify.ai/v/zh-hans/getting-started/install-self-hosted),将.env.example文件复制备份,并将文件中的 Milvus 相关配置修改为您 Zilliz Cloud 集群中的配置(如下),并保存。
# 修改env配置
# 如果是Docker Compose部署,进入cd dify/docker/
# 如果是本地源码启动,进入cd dify/api/
cp .env.example .env
(注:Zilliz Cloud 和 Milvus 接口兼容,MILVUS_HOST、MILVUS_PORT 后面既可以填 Milvus 的 host、port,也可以填 Zilliz Cloud 的 host、port。)
修改为Zilliz Cloud集群配置
VECTOR_STORE: milvus
...
# Milvus configuration
MILVUS_HOST=https://in01-dd41b30632904e4.ali-cn-hangzhou.vectordb.zilliz.com.cn:19530 #替换为实际的instance id,包括端口
MILVUS_PORT=19530 #根据Zilliz Cloud展示的实际端口配置,如果是Serverless集群,注意端口配置为443
MILVUS_USER=db_admin
MILVUS_PASSWORD=(注册时的密码,可以在Zilliz Cloud页面修改密码)
MILVUS_SECURE=True
重启Dify:
docker compose down
docker compose -f docker-compose.yaml up -d
更详细的 Dify 的本地部署文档可参考:https://docs.dify.ai/v/zh-hans/getting-started/install-self-hosted/docker-compose
执行:docker-compose -f docker-compose.yaml up -d用以启动 Dify 基础服务组件。
创建带有知识库的 AI 应用
浏览器输入 http://127.0.0.1/:80 ,注册登录。
创建数据集,这里示例上传了【Dify 团队介绍】作为知识库数据。
配置应用,撰写相关 Prompt,在上下文处选取上传的数据集,选择模型(这里我们选择智谱模型 ChatGLM)发布。
至此,一个具备 Dify 产品和团队知识的 AI 应用就已经创建完成。
03.携手发起 AGI 黑客松,解锁行业更多可能
不止如此,双方在深度合作的基础上,还联合极客公园 Founder Park、智谱 AI 等,共同发起 AGI Playground Hackathon,旨在重新思考 AI Native 时代下的应用和服务,解决共同的行业发展问题。届时,Dify 将为参赛者提供接入了智谱 AI 模型与 Zilliz Cloud 的预置环境,大大提升开发效率和应用的价值,让参赛者可以有更多精力关注产品创意。
截至目前,AGI Playground Hackathon 的 37 支参赛队伍已集结完毕,将于 10 月 13 日 - 15 日 在北京开启为期 3 天的 AGI 黑客松。48 小时创新开发后,他们将带着创新项目登上路演舞台。
10 月 15 日(本周日) 9:15 - 18:30,我们将在线上同步直播 Demo day。打开 Zilliz 公众号预约直播,看 AGI 创新应用,为参赛队伍加油打气!
此外,本次大赛的创新激励包再次升级!届时,9 支「优胜项目」团队(由助力嘉宾选出)+ 1 支「全场最具创意项目」团队(由全场公投选出),将共同分享 10 万元现金奖励。奖金分配规则将在现场公布,根据 3 个赛道的实际参与队伍数量按比例调整。
除现金奖励外,9 支「优胜项目」团队还有机会获得:
由智谱 AI 提供的 GLM Pro 代金券
由 Zilliz 提供的产品代金券及专属购买优惠
由 Founder Park 提供的优质品牌曝光资源及创新辅导
入选亚马逊云科技云创计划,最高可获价值 17.5 万元云资源
由声网超音速提供的创业咨询辅导、声网超音速计划创业伙伴绿色通道以及价值 10 万元的 AI x RTE 特别资源包等
由 Hugging Face 提供的 Hugging Face Space credits
由知潜提供的人才招聘服务代金券
……
AGI 时代已至,Zilliz 与 Dify的结合为 AI 应用开发带来了更多可能性,双方在未来也将继续深入合作,挖掘 AI 创新应用的更多潜能。
当然,Zilliz 作为向量数据库赛道的佼佼者,一方面仍将坚持在领域内深耕,不断进行技术迭代;另一方面,Zilliz 也期待更多合作伙伴的加入,携手探索 AGI 的未来,推动 AI 技术向着更广阔的应用领域发展。
技术干货
LLMs 记忆体全新升级:六大新功能全面出击,用户体验值拉满!
本次,我们新增了价格计算器、取消存储配额限制、自动暂停不活跃数据库等功能,用户体验感再上新台阶。通过阅读本文,用户可以快速、详尽地了解 Zilliz Cloud 的六大新功能!
2023-5-5技术干货
LangChain 查询使用指「北」
LangChain 是一种 AI 代理工具,可以为以 ChatGPT 为代表的额大语言模型(LLM)增添更多功能。此外,LangChain 还具备 token 和上下文管理功能。本文主要通过查询 GPT 和查询文档两个示例介绍如何使用 LangChain。
2023-5-30技术干货
LlamaIndex 联合创始人下场揭秘:如何使用私有数据提升 LLM 的能力?
如何使用私有数据增强 LLM 是困扰许多 LLM 开发者的一大难题。在网络研讨会中,Jerry 提出了两种方法:微调和上下文学习。
2023-5-18