Lucene 回顾 2024

Lucene 回顾 2024

2024年，Apache Lucene 迎来了许多重要的更新，包括三年来的首次重大版本更新，带来了许多激动人心的改进和新功能。让我们来看看其中的一些关键亮点。

社区

一个项目的强大与否，取决于支持它的社区。尽管已经开发了20多年，Lucene 项目依然充满活力，这要归功于那些充满热情和积极参与的贡献者们。

在2024年，Lucene 项目有超过2000次的提交，来自98位不同的贡献者，还有近800个拉取请求。贡献者的数量持续增长，有新的提交者和PMC成员加入项目，推动其成功。

Lucene 10

2024年迎来了近三年来的第一个重大版本——Lucene 10，这个版本有超过2000次的提交，来自185位不同的贡献者。虽然 Lucene 采用的开发模式允许在小版本中交付许多改进和功能，但一个重大版本的发布提供了引入更大功能和现代化的机会。例如，Lucene 10 需要至少 Java 21。提高最低 Java 版本要求，确保 Lucene 能继续利用现代 Java 提供的改进。

Lucene 10 的主要目标是更好地利用运行它的硬件。让我们快速浏览一下其中的一些主要亮点：

• 更多的搜索并行性 - 尽管搜索执行已经在段之间并行化，现在我们更进一步，在段内并行化。这将磁盘上的表示与执行性能解耦，即使是单个段也能从现代系统的多核心中受益。
• 更好的 I/O 并行性 - Lucene 使用的简单同步 I/O 模型已被增强，加入了预取阶段。这告诉操作系统，索引文件的某个区域将在不久的将来需要，而不会阻塞调用线程。
• 更高效的CPU和存储利用率 - Lucene 10 引入了对稀疏索引的支持，有时在其他数据存储中称为主键索引或区域索引。

关于 Lucene 10 的更多信息，请查看专门的文章。

研究与创新

2024年，Lucene 在研究与创新方面取得了巨大进展，特别是在机器学习集成、向量搜索和大规模数据集优化方面。参考了10篇研究论文和出版物。一些关键的研究领域和发展包括：

• 向量搜索和嵌入支持 - Lucene 提供了一种强大且可扩展的向量搜索解决方案，支持大规模语义检索。通过利用 Lucene 强大的索引和搜索基础设施，用户可以将传统文本搜索的优势与现代向量搜索的先进功能结合起来，使 Lucene 成为广泛搜索和信息检索任务的综合解决方案。
• 混合搜索模型 - 研究还深入探讨了混合搜索技术，Lucene 将传统的基于关键字的搜索与现代向量检索相结合。通过将基于术语的索引与密集向量表示结合起来，Lucene 能够提供更准确和语境相关的搜索结果，弥合传统搜索引擎的精确性与语义搜索的灵活性之间的差距。

2024年的研究努力展示了 Lucene 适应现代搜索技术不断变化需求的能力，特别是在人工智能、语义搜索和大数据应用的背景下。这个项目继续成长为一个强大、灵活且高效的平台，适用于传统和前沿的搜索用例。

众多版本发布

虽然不能完全反映，但大量的版本发布突显了社区的持续奉献和活力。这些更新包括向量搜索性能和效率的重大增强、对 madvise 的支持、对 postings list 解码的优化、通过 SIMD 进行的进一步速度提升等等。

以下是完整的版本发布列表：

• 10.1.0 (2024-12-20)
• 9.12.1 (2024-12-13)
• 10.0.0 (2024-10-14)
• 9.12.0 (2024-09-28)
• 8.11.4 (2024-09-24)
• 9.11.1 (2024-06-27)
• 9.11.0 (2024-06-06)
• 9.10.0 (2024-02-20)
• 8.11.3 (2024-02-08)
• 9.9.2 (2024-01-29)

您可以在 Lucene Core 页面找到更多信息和发布说明。此外，还有相应的 PyLucene 版本发布。

总结

随着 Lucene 的成熟，它在其专注和充满活力的社区的推动下继续蓬勃发展。正如我们所见，2024年是一个非常富有成效的一年，现在我们期待2025年带来的令人兴奋的发展。