“考公”有捷径?Milvus助力粉笔教育构建个性化考公RAG
粉笔教育是中国知名的职业教育培训机构,自2015年成立以来,专注于提供高品质的非学历职业教育服务。粉笔教育利用互联网技术创新教育模式,实现线上线下教学资源整合,并在公务员考试培训等多个领域拓展服务。全国多城市分校为学员提供优质服务,累计服务超过4200万用户。粉笔教育以高水平教学质量和创新技术,如申论智能批改系统,推动教育普惠和公平,荣获多项国家技术专利。
从Milvus单机版开始
在2021年,由于业务需求,粉笔教育开始进行向量数据库的选型。“当时的版本还是1.x单机版,随着时间的推移,Milvus在粉笔教育的业务线中得到了越来越广泛的应用,我们也把Milvus升级到了2.x集群版”,粉笔教育算法团队负责人吕红亮介绍到。
Milvus核心使用场景
为了满足用户多样化的需求,粉笔教育一直坚持科技创新。从2021年到2024年,随着AI技术的发展及应用,粉笔教育也在创新职教行业,以缩短用户的学习链路。
图搜召回
在粉笔教育的应用中,向量搜索召回技术被广泛应用于多个基础功能场景:如大学搜题的拍照搜题涉及到的向量召回推荐,在粉笔公考中,搜索页面的文字搜索、图推题目,使用Milvus作为关键词召回之外的向量召回、推荐中基于双塔模型的向量召回,允许用户通过上传题目的图片来快速搜索题目和答案,为用户提供了便捷的搜题体验。
RAG应用
随着大模型时代的到来,粉笔教育推出了基于RAG技术(Retrieval-Augmented Generation)的“AI老师”功能,而Milvus作为底层支持,为这一业务提供了强大的基础设施。
粉笔AI老师依托于粉笔教育多年积累的丰富教学数据,结合Milvus支持的RAG技术,能够提供更深入、准确、有价值的答案。在言语理解、资料分析、常识判断、逻辑推理和数量关系等多个方面,粉笔AI老师的表现均优于市面上的主流通用教育大模型产品。通过这些功能,粉笔AI老师能够全面覆盖学员的学习流程,提供包括个性化学习规划、学习成果检测、答疑解惑、报考辅导在内的全流程个性化和智能化的专业陪伴。
今年,粉笔教育还推出了AI公文写作功能,其中Milvus同样发挥了重要作用。
Milvus带来的业务价值
便捷的部署和使用:Milvus的部署和使用过程简单方便,减轻了用户的运维负担。吕红亮介绍到:“之前也使用过Vearch、Annoy,自己也动手搭建过搜索功能,但是需要做很多周边的应用开发。而Milvus更加方便,减少了复杂的配置和调整工作。”
支持大规模数据:Milvus能够支持较大规模的数据量,对于需要自行部署的系统来说,这一点尤为重要,因为它能够确保系统性能不会因数据量增加而下降。
高性能、低成本:Milvus提供了快速的检索速度,满足了对性能的要求。同时,相比于其他云厂商提供的方案,写入速度和QPS也会有限制。同时,云厂商的方案要针对存储、内存进行收费,而且部分功能升级单独收费,因此成本也不可控;
不断迭代的功能
算法团队工程化专家张家明说到:“Milvus社区一直以来都发展的比较好,我们在使用当中遇到的一些问题或者是不支持的需求,可能在后续的版本都会解决或者作为新特性推出,免除了很多我们自己去二次开发和维护的工作。”
如Milvus 2.4版本就引入了多向量字段的功能,而在最新发布的Milvus 2.5版本里则引用了更多的特性:
内置全文搜索:集成了Sparse-BM25,无需预先生成向量嵌入即可实现强大的文本处理功能。从而实现语义搜索与关键字搜索相结合的混合搜索以提升搜索精准性。
增强文本过滤:新的文本匹配功能利用Tantivy的分析器进行精确的自然语言匹配,适合与向量相似性搜索相结合。
位图索引:引入了新的索引系统,以加速对低基数字段的过滤,提高了过滤搜索的查询性能
...
提到为什么会选择Milvus,吕红亮介绍到,Milvus已经得到了其他用户的验证,证明了其方法和方向的可行性。由于粉笔教育与猿辅导之间的紧密关系,双方的团队曾进行了深入交流。猿辅导的团队基于他们的使用经验,推荐了Milvus,认为其在向量检索方面的表现和效果都相当出色,因此粉笔教育采纳了这一建议,并开始实施Milvus方案,“我们没有足够的时间和精力去试错,必须尽早避坑。”
技术干货
Zilliz Cloud 明星级功能详解|解锁多组织与角色管理功能,让你的权限管理更简单!
Zilliz Cloud 云服务是一套高效、高度可扩展的向量检索解决方案。近期,我们发布了 Zilliz Cloud 新版本,在 Zilliz Cloud 向量数据库中增添了许多新功能。其中,用户呼声最高的新功能便是组织与角色的功能,它可以极大简化团队及权限管理流程。
2023-6-28技术干货
可处理十亿级向量数据!Zilliz Cloud GA 版本正式发布
本次 Zilliz Cloud 大版本更新提升了 Zilliz Cloud 向量数据库的可用性、安全性和性能,并推出了一系列新功能。这次升级后,Zilliz Cloud 能够更好地为用户提供面向各种应用场景的向量数据库服务,不断提升用户体验。
2023-4-7技术干货
向量数据库发展迎里程碑时刻!Zilliz Cloud 全新升级:超高性价比,向量数据库唾手可得
升级后的 Zilliz Cloud 不仅新增了诸如支持 JSON 数据类型、动态 Schema 、Partition key 等新特性,而且在价格上给出了史无前例的优惠,例如推出人人可免费使用的 Serverless cluster 版本、上线经济型 CU 等。这意味着,更多的开发者可以在不考虑预算限制的情况下畅用云原生向量数据库。
2023-6-15