Zilliz X Dify.AI ,快速打造知识库 AI 应用
Zilliz 大模型生态矩阵再迎新伙伴!近日,Zilliz 和 Dify.AI 达成合作,Zilliz 旗下的产品 Zilliz Cloud、Milvus 与开源 LLMOps 平台 Dify 社区版进行了深度集成。
01.Zilliz Cloud v.s. Dify
Dify 作为开源的 LLMs App 技术栈,在此前已支持丰富多元的大型语言模型的接入,除了 OpenAI、Anthropic、Azure OpenAI、Hugging face、Replicate 等全球顶尖模型及模型托管平台,也完成了国内主流的各大模型支持(如文心一言、智谱 AI 等)。
而 Zilliz Cloud 和 Milvus 则是向量数据库的领先代表。
其中,Milvus 是全球最受欢迎、迭代最快、架构最成熟的开源向量数据库,拥有庞大的开发者社区,开源 4 年来下载量已超 600 万次,得到了来自全球数千家企业用户的信赖。
Zilliz Cloud 是基于 Milvus ,并由原厂打造的全托管 SaaS 及 PaaS 向量数据库服务产品,提供深度优化、开箱即用的向量数据库体验。使用 Zilliz Cloud 可以轻松构建十亿级向量数据库,部署和扩展向量搜索服务。由全球顶尖的向量数据库团队 Zilliz 提供运维、优化、及综合支持。目前,Zilliz Cloud 已在全球上线,覆盖 AWS、GCP、Azure、阿里云、百度云等。
在顶级云原生向量数据库与 LLMs APP 技术栈的双重加持下,用户不仅可以轻松提升 AI 应用的开发效率,同时还能解锁更多向量数据库的应用场景。
02.快速打造知识库 AI 应用
具备知识库的 AI Chatbot 已然是当下基于大模型技术实现及应用最多的情景,接下来,我们将以制作一个具备 Dify 产品及团队知识背景的 AI 应用为例,为大家介绍如何从零开始,用 3 步搭建一个具备企业知识库的 AI 应用。
平台注册
在本次实操演示中,我们采用 Dify.AI 社区版进行部署,以接入 Zilliz Cloud 为例。第一步,需要前往 Zilliz(https://cloud.zilliz.com.cn/signup)注册,并创建 Zilliz Cloud 的集群。
zillizXDify.PNG
修改 Dify 的环境配置
在 GitHub 下载 Dify 镜像文件(https://github.com/langgenius/dify),参考Dify部署文档(https://docs.dify.ai/v/zh-hans/getting-started/install-self-hosted),将.env.example文件复制备份,并将文件中的 Milvus 相关配置修改为您 Zilliz Cloud 集群中的配置(如下),并保存。
# 修改env配置
# 如果是Docker Compose部署,进入cd dify/docker/
# 如果是本地源码启动,进入cd dify/api/
cp .env.example .env
(注:Zilliz Cloud 和 Milvus 接口兼容,MILVUS_HOST、MILVUS_PORT 后面既可以填 Milvus 的 host、port,也可以填 Zilliz Cloud 的 host、port。)
修改为Zilliz Cloud集群配置
VECTOR_STORE: milvus
...
# Milvus configuration
MILVUS_HOST=https://in01-dd41b30632904e4.ali-cn-hangzhou.vectordb.zilliz.com.cn:19530 #替换为实际的instance id,包括端口
MILVUS_PORT=19530 #根据Zilliz Cloud展示的实际端口配置,如果是Serverless集群,注意端口配置为443
MILVUS_USER=db_admin
MILVUS_PASSWORD=(注册时的密码,可以在Zilliz Cloud页面修改密码)
MILVUS_SECURE=True
重启Dify:
docker compose down
docker compose -f docker-compose.yaml up -d
更详细的 Dify 的本地部署文档可参考:https://docs.dify.ai/v/zh-hans/getting-started/install-self-hosted/docker-compose
执行:docker-compose -f docker-compose.yaml up -d用以启动 Dify 基础服务组件。
创建带有知识库的 AI 应用
浏览器输入 http://127.0.0.1/:80 ,注册登录。
创建数据集,这里示例上传了【Dify 团队介绍】作为知识库数据。
配置应用,撰写相关 Prompt,在上下文处选取上传的数据集,选择模型(这里我们选择智谱模型 ChatGLM)发布。
至此,一个具备 Dify 产品和团队知识的 AI 应用就已经创建完成。
03.携手发起 AGI 黑客松,解锁行业更多可能
不止如此,双方在深度合作的基础上,还联合极客公园 Founder Park、智谱 AI 等,共同发起 AGI Playground Hackathon,旨在重新思考 AI Native 时代下的应用和服务,解决共同的行业发展问题。届时,Dify 将为参赛者提供接入了智谱 AI 模型与 Zilliz Cloud 的预置环境,大大提升开发效率和应用的价值,让参赛者可以有更多精力关注产品创意。
截至目前,AGI Playground Hackathon 的 37 支参赛队伍已集结完毕,将于 10 月 13 日 - 15 日 在北京开启为期 3 天的 AGI 黑客松。48 小时创新开发后,他们将带着创新项目登上路演舞台。
10 月 15 日(本周日) 9:15 - 18:30,我们将在线上同步直播 Demo day。打开 Zilliz 公众号预约直播,看 AGI 创新应用,为参赛队伍加油打气!
此外,本次大赛的创新激励包再次升级!届时,9 支「优胜项目」团队(由助力嘉宾选出)+ 1 支「全场最具创意项目」团队(由全场公投选出),将共同分享 10 万元现金奖励。奖金分配规则将在现场公布,根据 3 个赛道的实际参与队伍数量按比例调整。
除现金奖励外,9 支「优胜项目」团队还有机会获得:
由智谱 AI 提供的 GLM Pro 代金券
由 Zilliz 提供的产品代金券及专属购买优惠
由 Founder Park 提供的优质品牌曝光资源及创新辅导
入选亚马逊云科技云创计划,最高可获价值 17.5 万元云资源
由声网超音速提供的创业咨询辅导、声网超音速计划创业伙伴绿色通道以及价值 10 万元的 AI x RTE 特别资源包等
由 Hugging Face 提供的 Hugging Face Space credits
由知潜提供的人才招聘服务代金券
……
AGI 时代已至,Zilliz 与 Dify的结合为 AI 应用开发带来了更多可能性,双方在未来也将继续深入合作,挖掘 AI 创新应用的更多潜能。
当然,Zilliz 作为向量数据库赛道的佼佼者,一方面仍将坚持在领域内深耕,不断进行技术迭代;另一方面,Zilliz 也期待更多合作伙伴的加入,携手探索 AGI 的未来,推动 AI 技术向着更广阔的应用领域发展。
技术干货
套娃嵌入:如何优化向量搜索成本,并兼顾延迟与召回
允许开发人员在不牺牲语义完整性的情况下创建更精巧的嵌入。
2024-12-04技术干货
使用Spark和Milvus构建生产就绪的搜索管道
在最近的一次演讲中,Zilliz的生态系统和AI平台负责人Jiang Chen提出了一个逐步构建高效且生产就绪的向量搜索管道的过程。本文将讨论演讲的主要要点。
2024-11-29技术干货
使用Ruby和Milvus构建端到端的GenAI应用
在最近的一次演讲中,Source Labs LLC的解决方案架构师Andrei Bondarev介绍了一个名为LangChain.rb的LangChain的Ruby扩展,以使全栈工程师更容易在他们的软件项目中构建GenAI应用。
2024-11-29