2024 QCon 全球软件开发大会 上海站
QCon 全球软件开发大会是由极客邦科技旗下 InfoQ 中国主办的综合性技术盛会,每年在伦敦、北京、纽约、圣保罗、上海、旧金山召开。自2007年3月份开始举办以来,已经有超万名有多年从业经验的技术人员参加过QCon大会。QCon 内容源于实践并面向社区,演讲嘉宾依据热点话题,面向5年以上工作经验的技术团队负责人、架构师、工程总监、开发人员分享技术创新和实践。
Zilliz 专题演讲议题:提升 RAG 准确率至 90%,Milvus 向量检索实践之道
演讲嘉宾:张粲宇,Zilliz Senior Product Manager,Milvus 产品负责人,负责制定 Milvus 产品路线图与关键特性的定义,Milvus Ask AI 项目负责人。研究方向:数据库内核、AI,毕业于复旦大学。曾任 SAP HANA 内核研发,PingCAP TiDB 产品专家。
自 LLM 问世以来,向量数据库一直扮演着 Infra for AI 的领跑者,在这个领域我们见到了蓬勃发展的应用场景和案例,向量检索也从最初的一枝独秀到现在的百花齐放。随着 RAG 和多模态的普及,用户对检索器(向量数据库或其他系统)的检索能力提出了更高需求,我们从应用场景和技术落地看到了对各种新技术的需求和潜力,我们将从底层技术实现到使用场景来全面的分享这些重要能力,并且分享我们从实践中应证的它们价值。
本次分享也将从我们自己的 RAG 场景(milvus 知识库)出发,分享我们在 RAG 方面看到的挑战,以及我们通过采用混合检索技术和其他技巧,最终把准确率提升到 90% 以上的经验分享,此外会将分享我们在该项目落地中所收获的经验并探讨未来 RAG 与向量检索的方向。
演讲提纲
1. RAG 场景下的数据检索问题及其挑战
AI 时代下的检索趋势
介绍 RAG 应用落地遇到的主要挑战:检索质量、成本和安全问题
2. Milvus 的应对之道
提升准度问题:元数据过滤和混合检索技术及其优化,优化 RAG 的检索质量
解决成本问题:冷热分层存储和索引等优化,如:量化和磁盘索引、大规模数据检索的降本等
优化安全问题:多租以及细粒度权限管控技术,管理数据的权限和隐私
3. Milvus Ask AI:准确率提升至 90% 的企业 RAG 服务实践
系统的设计, demo 以及实际效果与数据指标
线上运行后遇见的典型问题及解决方案:版本问题、幻觉问题、多信息源的信息综合
4. 向量检索与 RAG 的未来发展
分享最新的模型进展
多模态的 RAG 检索
听众收益
1. 开拓一些新思路,用新方法如何解决传统的一些搜索问题
2.了解向量数据库以及 embedding & reranking 最前沿的技术和成果
3. 了解混合检索(倒排关键词、sparse、dense)在 RAG 和多模态检索场景里的打开方式
4. 目前领域相关的挑战,以及向量数据库的最新技术和 RAG 的未来展望