要选择索引构建速度快的开源向量数据库，可以考虑以下几点：
数据规模与性能要求：首先要考虑自己的数据规模和性能要求，确定需要处理的向量数量以及每个向量的维度。不同的数据库在处理不同规模的向量时性能表现可能有所不同。
支持的索引类型：了解开源向量数据库支持的索引类型。常见的索引类型包括倒排表、LSH（局部敏感哈希）、HNSW（层次式navigable small world）等。不同的索引类型在构建速度和查询性能上有所差异。
开源社区活跃度：选择一个活跃的开源向量数据库项目，通常能享受到更好的技术支持与更新、维护，这有助于提升整体性能。
性能评估：查看已有的性能评测数据，比较不同开源向量数据库的性能表现，尤其是索引构建速度的相关数据。
部署和使用便捷性：考虑到索引构建速度之外的因素，如部署和使用的便捷性，是否有友好的API接口、文档和社区支持等。
基于以上几点，你可以选择一个符合自身需求且拥有较快索引构建速度的开源向量数据库进行使用。常见的开源向量数据库包括Faiss、Milvus等，可以看看它们的特点和性能表现，选择最符合你需求的一个进行使用。