通过 Search AI Lake 和 Elastic Cloud Serverless 以实现低延迟搜索的扩展

今天，我们非常高兴地分享一项创新的云原生架构，它专为优化实时应用程序而设计。这种架构提供了大规模存储容量、低延迟查询，并且集成了强大的搜索和人工智能（AI）功能，以支持现代应用程序的需求。

这种架构的一个显著特点是其能够处理大规模数据存储和快速查询，这对于需要实时数据处理和分析的应用程序至关重要。它通过先进的搜索算法和AI技术，使得用户能够从大量非结构化数据中快速提取有价值的信息。

此外，这种架构还消除了传统云服务中的操作开销，使得开发者和企业能够轻松地开始他们的项目，并且随着需求的增长，无缝地扩展他们的工作负载。这种灵活性和可扩展性对于资源的有效利用和成本控制非常关键。

通过这种架构，无论是初创企业还是大型企业，都能够利用云原生技术的力量，以更高效、更经济的方式构建和部署他们的应用程序。这不仅提高了运营效率，还为创新和增长提供了坚实的基础。

我们相信，这种架构将为实时数据处理和分析领域带来新的机遇，并帮助推动相关技术的进一步发展。我们期待看到开发者和企业如何利用这一架构来解决实际问题，并创造新的价值。

搜索的新时代

十多年来，Elasticsearch 一直为复杂数据提供快速、可扩展的解决方案。Elastic 的客户之所以成功，是因为搜索旨在从没有明确定义模式或可定义查询模式的数据中提供实时洞察。虽然 No-SQL 数据库需要更结构化的数据和模式，但 Elastic 默认使所有数据都可以快速搜索。搜索的速度推动了关键结果，从快速威胁检测到运营效率和更高的用户参与度。这使得搜索成为处理杂乱且不断变化的数据的最佳解决方案，当用户不知道确切的查询属性但仍需实时搜索数据时尤为如此。

这就是为什么 Elasticsearch 广泛用于对结构化和非结构化数据进行实时分析，例如日志分析、SIEM 和广泛的 Search AI 应用程序。搜索也是生成式 AI 体验的关键，能够高效地编码、检索和综合大量数据，以生成准确的大型语言模型响应。我们认识到，随着 AI 和实时工作负载在生产中扩展，需要一种能够在不牺牲可扩展性、相关性或经济性的情况下提供低延迟查询性能的架构。

数据湖的出现和演变试图通过分离计算和存储来解决数据的快速增长规模。但从设计上看，这些架构更注重存储而非性能。例如，对象存储本质上优先考虑可扩展性而非速度，导致交互查询时出现不可接受的延迟。这使得数据湖对于需要低延迟查询和访问所有数据的实时应用程序来说几乎无法使用，无论其规模和复杂性如何。

未来低延迟的人工智能驱动技术需要一种新的湖架构

无妥协：Search AI Lake，为实时、低延迟应用程序提供的新架构

今天，我们很高兴地介绍首个此类架构——Search AI Lake。这是一种云原生架构，优化了实时、低延迟的应用程序，包括搜索、增强生成（RAG）、可观测性和安全性。目前，此功能在技术预览中可用。

Search AI Lake Architecture

Search AI Lake 提供了在需求时以高速互动搜索几乎无限量数据的新机会，且存储成本高效。对于搜索应用程序，这使得大数据集可以无缝且经济高效地用于 RAG。对于安全性来说，这意味着更好的威胁保护，可以让大量安全数据随时可用于调查和威胁猎杀。安全团队可以通过即时访问以前孤立的数据来增强异常检测，显著提升安全态势。SRE 能够获得更多的解决方案洞察——无需重新加载数据即可搜索年度数据，并访问高分辨率数据集进行预测分析、趋势分析和主动检测。

Search AI Lake 提供了一系列独特的优势：

1. 无限扩展，解耦计算和存储：完全解耦存储和计算，使用原生云存储实现无缝扩展和可靠性，同时我们的动态缓存支持高吞吐量、频繁更新和大数据量的交互查询。利用云原生对象存储提供高数据耐久性，同时平衡任何规模的存储成本。这消除了跨多个服务器复制索引操作的需求，降低了索引成本并减少了数据重复。
2. 实时、低延迟：多种增强功能在数据安全持久存储于对象存储上时保持卓越的查询性能。这包括引入段级查询并行化以减少延迟，启用更快的数据检索并允许更多请求更快地处理。加上更高效的缓存利用和优化 Lucene 索引格式的使用。
3. 独立扩展索引和查询：通过在低级别分离索引和搜索，平台可以独立且自动扩展以满足各种工作负载的需求。
4. GAI 优化：原生推理和向量搜索：使用 RAG 和专有数据定制生成式 AI 体验。利用强大的 AI 相关性、检索和重新排序功能的原生套件，包括完全集成到 Lucene 中的原生向量数据库、开放推理 API、语义搜索以及与搜索功能无缝协作的第一方和第三方变压器模型。
5. 强大的查询和分析：内置 Elasticsearch 强大的查询语言 ES|QL，可对数据进行转换、丰富和简化调查，支持并发快速处理，无论数据源和结构如何。包括精确高效的全文搜索和时间序列分析，以识别地理空间分析中的模式。数据索引同时利用“写时模式”（Schema on Write）实现规模和速度，以及“读时模式”（Schema on Read）提供灵活性和更快的价值实现。
6. 原生机器学习：直接在所有数据上构建、部署和优化机器学习，以提供更好的预测。对于安全分析人员来说，这意味着可以轻松跨历史信息运行预构建的威胁检测规则，即使是多年前的数据。类似地，可以运行无监督模型，几乎实时地对跨越更长时间段的数据进行异常检测，比其他 SIEM 平台更具优势。
7. 真正的分布式：跨区域、云或混合：在数据生成的区域或数据中心查询数据，通过一个界面。跨集群搜索（CCS）避免了集中化或同步的需求。这意味着在数据被摄取后的几秒钟内，任何数据格式都被标准化、索引并优化，以实现极快的查询和分析，同时减少数据传输和存储成本。全功能 CCS 将很快在 Search AI Lake 上提供。

介绍 Elastic Cloud Serverless —— 快速启动和扩展

基于 Search AI Lake，Elastic Cloud Serverless 提供了无忧的管理、快速的入门和优化的产品体验，旨在利用 Search AI Lake 的惊人速度和规模。当前在技术预览中，Serverless 项目完全简化了操作开销，自动处理扩展和管理。所有操作均由 Elastic 管理，从监控和备份到配置和大小调整。您无需考虑底层集群、节点、版本或扩展，只需带上自己的数据即可开始使用任何 Elastic 解决方案。

Serverless 补充了现有的云部署，提供了 Serverless 的简单性和现有 Elastic Cloud Hosted 的更大控制权。目前，Serverless 项目默认在 AWS（us-east-1）上运行，未来将支持更多云提供商和区域。Serverless 项目目前处于技术预览阶段。

Serverless 项目具有新的解决方案特定定价模式。简化的定价使您可以轻松理解和预测 Search、Observability 或 Security 的支出。积分在不同部署选项中统一，使您可以灵活地选择 Elastic Cloud Hosted 或 Elastic Cloud Serverless 选项。

cloud options

结合新的产品体验和底层的 Search AI Lake 架构，Serverless 项目使入门更加容易。

• 即时配置：快速启动一个全配置的 Serverless 项目。
• 基于项目：使用新的工作流轻松创建优化项目，满足每个用例的独特需求，从向量搜索和 APM 到终端安全等。
• 引导式入门：通过专门的步骤引导您使用产品内资源和工具，快速获得

结果。

• 无忧操作：让您的团队免于操作责任——无需管理后台基础设施、进行容量规划、升级或扩展数据。
• 无限扩展：Serverless 允许您的工作负载无缝扩展，通过自动响应和适应需求变化，最小化延迟并确保最快响应时间。

serverless projects

从头到尾简化：简化的产品体验、包和定价

Serverless 提供简化的产品体验和引导式入门，加快 Search、Observability 和 Security 的结果时间，并针对每个用例进行优化。新的简化定价和包使管理支出变得简单，并充分利用 Elastic 的所有优势。包括 Elasticsearch、Elastic Observability 和 Elastic Security 的各种新定价和包。

Elasticsearch Serverless 使开发人员能够快速交付有影响力的 AI 搜索体验，而无需担心速度或规模。通过硬件优化项目快速入门，适用于一般搜索或向量搜索和时间序列。使用简化的开发者体验，提供广泛的内联文档和代码示例以指导搜索项目。无需配置或管理集群、分片、版本或扩展，减少管理，专注开发。借助 Elastic 的最新 AI 功能，如向量搜索、Elastic Learned Sparse EncodeR (ELSER)、语义搜索、机器学习 (ML) 和 AI 模型集成与管理，加速生成式 AI 体验的开发。

通过 Search AI Lake 实现搜索性能和存储成本的高效平衡。计算和存储以及索引和查询的分离使任何工作负载的独立扩展快速可靠，而不会影响性能。即使使用重索引时功能以提高相关性，也不会影响搜索性能。

定价和包：Elasticsearch Serverless 引入了一个单一产品层级，提供对所有搜索功能和构建块的访问，以编程方式开发搜索应用程序。定价简化，并基于用于摄取、搜索和机器学习的计算资源，以及数据保留和数据输出（数据传输）的计量。更多详情请参见 Elasticsearch Serverless 定价页面。

Elastic Observability Serverless 提供无忧体验，具备全栈可观测性的所有好处，而无需管理堆栈或扩展动态工作负载。简化的工作流和引导式入门最小化了获得洞察的时间，使您可以轻松地在信号之间切换而不丢失重要上下文。加上超过350个集成、一个托管的摄取服务和以 OpenTelemetry 为先的方式，将可观测性数据导入 Elastic 从未如此简单。

Search AI Lake 使分析比以往更快，以惊人的查询速度和机器学习作业在几分钟内提供洞察，即使是数 PB 数据。具有前所未有的速度和规模，您现在可以分析所有业务和运营数据，主动检测问题，加快问题解决，并实现业务成果。

定价和包：Elastic Observability Serverless 引入了一个单一产品层级，提供对所有 Observability 功能的访问。定价简单：您支付摄取和保留的数据费用。其他选项包括每次测试运行定价的合成监控浏览器测试和按每个区域每次测试定价的轻量测试。更多详情请参见 Elastic Observability Serverless 定价页面。

Elastic Security Serverless 为安全分析人员提供了一个新的云部署选项，用于其安全分析和 SIEM 用例。这种全新的完全托管云产品提供了一个精心策划的安全解决方案，可以快速投入使用。使用此 Elastic Security 部署消除了管理云和 SIEM 基础设施的开销，使安全团队能够专注于保护、调查和响应组织内的威胁。

安全分析人员可以利用 Search AI Lake 无缝分析所有安全相关数据，包括几个月甚至几年前的历史数据，以分钟级提供洞察。Search AI Lake 支持威胁猎杀、自动检测和AI 驱动的安全分析功能，包括攻击发现和 AI 助手。

定价和包：Elastic Security Serverless 提供两个精心选择的功能层级，以实现常见的安全操作。

• Security Analytics Essentials 包含操作传统 SIEM 在大多数组织中所需的一切。
• Security Analytics Complete 增加了许多组织在现代化或更换传统 SIEM 时需要的高级安全分析和 AI 驱动功能。
• 可选附加项：端点和云保护是可选的。选择一个或两个选项，以提供除 Elastic Security Serverless 项目中包含的安全分析/SIEM 功能之外的额外保护功能。

Elastic Security 的 Serverless 定价简单：您支付摄取和保留的数据费用。更多详情请参见 Elastic Security Serverless 定价页面。

探索搜索和 AI 的全部力量

低延迟应用的未来已经到来，无需在速度、规模或支出上妥协。Elastic 邀请安全分析师、SRE 和开发人员体验 Serverless 和 Search AI Lake，利用数据解锁新的机会。了解更多关于Serverless的可能性，或立即开始您的免费试用技术预览。