Milvus 助力趋势科技提升 APK 安全性
<95 毫秒
端到端查询延迟
<10 秒
导入 300 万条向量数据
实现
APK 病毒实时检测
Milvus 性能出色，集成了 Faiss 等主流向量索引库。Milvus 还提供了一整套简单直观的 API，可以针对不同场景选择不同的索引类型。
黄伟
趋势科技简介
趋势科技（TrendMicro）是一家全球领先的信息安全软件公司，专为全球软件厂商及个人用户提供安全解决方案。
趋势科技拥有一支专门的团队负责构建移动安全 APP 和开发基础设施。工作流程为爬取 Google play 等平台上的外部 APK (Android application package，即 Android 应用程序包)，运用趋势科技的算法检测出携带病毒的 APK。使用 Milvus 在趋势科技 APK 库中对携带病毒的外部 APK 进行相似性检索。如发现外部携带病毒的 APK 与库中 APK 相似，需要及时通知企业与个人用户相关的病毒信息。
用户痛点：MySQL 和 Faiss 无法满足业务可扩展性要求
由于项目前期的 APK 样本数量不大，趋势科技团队可以利用 SQL 语言在 MySQL 中进行 APK 相似性检索。但随着 APK 样本数量急剧增大，使用 MySQL 无法保证性能，查询延迟增加，系统也无法处理高并发查询搜索请求。团队面临技术瓶颈。
随后，趋势科技团队转而使用 Faiss。Facebook 于 2017 年发布了 Faiss 算法库。Faiss 能快速检索相似向量，还提供 IndexFlatL2、IndexFlatIP、HNSW、IVF 等多个索引，可以解决大部分相似性检索的问题。但是 Faiss 只是一个基础算法库，存在如下问题：无法管理向量数据、不具备高可用性、缺乏监控手段、缺乏分布式方案、缺少各种语言版本的 SDK 等。
具体而言，如果使用 Faiss，趋势科技团队就需要自己搭建一层独立的数据存储和检索层。而且，Faiss 缺少监控工具，不适合 APK 病毒检测这种对实时性具有高要求的应用场景。除了上述两个问题以外，Faiss 缺乏分布式方案。如果使用 Faiss，趋势科技团队还需要考虑水平扩展的问题。
行业内基于 Faiss 的近似最邻近算法库开发了一些插件。但此类解决方案的问题在于消耗内存大，且不易于性能调优。因此，也同样不能满足趋势科技的业务需求。
高度可扩展的解决方案：强大的 Milvus 向量搜索引擎，助力 APK 分析
使用 C++ 语言开发的 Milvus 开源向量相似度搜索引擎在众多主流方案中脱颖而出。Milvus 能够解决 趋势科技团队一些的技术痛点。Milvus 集成了 Faiss、NMSLIB、Annoy 等主流向量索引库，提供丰富的功能。
Milvus 与其他方案的对比情况如下图所示：
| 引擎 | 性能（毫秒） | 数据量（百万） | 向量维度 |
|---|---|---|---|
| ES | 600 | 1 | 128 |
| ES + 阿里云 | 900 | 20 | 128 |
| Milvus | 27 | 1000+ | 128 |
| SPTAG | 性能不佳 | ||
| ES + nmslib、faiss | 90 | 150 | 128 |
Milvus 提供了一整套简单直观的 API。趋势科技团队可以针对不同场景选择不同的索引类型。与其他解决方案相比，Milvus 更具灵活性，可以帮助趋势科技团队处理多样的 APK 特征向量，满足各种业务需求。
Milvus 是一套高可用的分布式系统，支持水平扩展。趋势科技团队需要处理爆炸式增长的海量 APK 数据，因此他们最关注的就是系统可扩展性和性能。Milvus 的分布式架构允许用户轻松增加节点已满足更高的负载量。
此外，Milvus 还内嵌了 Prometheus 监控系统和 Grafana 数据可视化界面。使用 Milvus 后，趋势科技团队能够实时关注各种性能指标，包括查询延迟、数据导入速度等，以便及时发现问题并迅速解决。
Milvus 高度灵活、可扩展，提供强大的向量搜索引擎，能够完美满足趋势科技复杂的业务需求。由于上述三点理由，最终趋势科技团队选择在其 APK 安全检测项目中采用 Milvus。
案例亮点：低延迟、超快速的数据导入速度
在采用 Milvus 后，趋势科技 APK 分析系统的效率和性能实现了大幅提升。搜索延迟是评估性能最重要的指标。Milvus 的搜索延迟效果惊艳。目前，趋势科技基于 Milvus 搭建的 ThashSearch 服务已上线数月。完整链路查询的平均延迟在 95 毫秒以内。低延迟确保趋势科技能够及时提醒企业或个人用户潜在的 APK 病毒和风险，保障数据安全。
除了低延迟以外，APK 分析场景中还需要关注数据导入速度。因为这种场景下通常需要导入海量数据，因此数据导入速度也会影响系统性能。使用 Milvus 后，导入 300 万条 192 维向量数据大约只需要 10 秒。高导入速度可以确保系统数据实时更新，提升查询的准确性。
使用 Milvus 后，趋势科技团队大大简化了 APK 检测系统的后端流程，能够更快速的返回相似性搜索结果，实时更新系统数据。Milvus 的表现超出了预期，趋势科技团队决定后续需要使用向量搜索引擎的业务中都使用 Milvus。
后续计划
趋势科技团队也在十分密切关注 Milvus 的发展路线图，也非常期待 Milvus 未来能够支持的新功能。Milvus 后续将支持字符串类型的向量 ID。这样一来，趋势科技团队就无需再额外使用 Redis 缓存数据，可以大大简化工作流程，提升系统效率。
此外，Milvus 当前仅支持一个写节点，后续将取消这一限制。趋势科技十分期待新发布，进一步提升其应用可扩展性，期望能够处理更多数据和更多查询请求。因为 Milvus 的出色表现，趋势科技团队还会考虑在更多业务中集成 Milvus。