解密Elastic如何用生成式AI提升内部的工作效率

和所有组织一样，Elastic面临着越来越多的信息和数据，使得我们的团队很难保持信息的最新，也让员工从相关资源中找到答案。

作为一家领先的搜索AI公司，我们的客户至上理念从我们自己开始。当我们的员工需要更好的方式来找到必要的信息以完成工作时，我们知道我们可以利用自己的技术来实现这一愿景。

时光飞逝，如今我们已经推出了内部生成式AI助手ElasticGPT，帮助员工快速找到相关信息并提高工作效率。它运行在Elastic Search AI平台上，使用我们的向量数据库、Elastic Cloud部署、Elasticsearch、Elastic Observability和企业连接器。它还通过检索增强生成（RAG）使用我们的专有数据，为答案增加上下文和相关性。

我们的AI之旅的开始

Elastic的IT团队在加速技术创新方面发挥了基础性作用。在过去的18个月里，我们的重点一直是推动生成式AI技术在整个组织中的应用，以提高员工效率。这包括几个自制的生成式AI工具和能力，以及新增的企业创新。

在这个过程中，多个业务职能部门共同识别了使用生成式AI提升员工体验的机会，但在这个领域的发展中也出现了一些问题。这些问题包括：

• 如何结合Elasticsearch和生成式AI，使员工更容易在企业数据源和系统中找到信息？
• 如何在生成相关结果的同时，确保保密和安全地将公司私有信息与大型语言模型（LLMs）的能力结合？
• 我们能否构建一个可扩展的解决方案，作为多个用例的平台，同时提供使用多个LLMs的灵活性？我们如何通过提供托管服务来推动特定领域的创新？
• 如何通过引入自助服务工作流程来解决耗时和重复的请求，从而在各个团队中提供容量增益？
• 如何通过优化支出、管理风险和减少工具膨胀来避免技术债务？

我们的核心目标很简单：使用Elastic Search AI平台构建一个内部的、私有的和安全的生成式AI工具，以便所有Elastic员工都能受益于信息检索和知识发现。

考虑到我们是Elastic，我们知道Elasticsearch的产品能力将补充我们想要实现的AI功能。话虽如此，立即的挑战是专注于最具影响力的用例，定义我们的数据策略，并始终专注于我们的核心愿景。

构建我们的数据策略

为了构建一个能让所有Elastic员工受益的解决方案，我们知道需要先审查哪些数据源将进入我们的最低可行产品（MVP）。我们将其归纳为两个标准：1）数据源应包含详细信息，以便所有员工受益，2）数据需要保持最新，以便输出中检索到相关的实时信息。最终我们选择了两个数据源作为我们的MVP：

1. Confluence数据：我们的内部Confluence网站Elastic Wiki是关于Elastic的一切的全面内部资源，包括产品、团队、技术、流程、政策和公司文化的详细信息。
2. ServiceNow数据：我们使用ServiceNow知识文章来帮助解决各种主题的问题，如政策、使用说明、故障排除提示和请求支持等。

确定这两个数据源很简单，但治理却不容易。为什么？像大多数拥有PB级数据的组织一样，我们在各个位置有大量信息，并且不确定数据的准确性。解决这个多维度的问题对于确保响应质量不受“脏”或“噪声”数据的负面影响至关重要。

为了解决我们的数据挑战，我们开发了一个逐步框架：

• 步骤1：捕获和组织数据。 这包括对我们的数据源进行盘点，组织我们的信息，并定义这些数据将如何以及在哪里使用。
• 步骤2：确保数据的准确性和相关性。 我们必须定义哪些信息是可靠的，因此我们建立了数据标准，将信息分类为“陈旧”（例如，定义时间段内未更新的信息、没有所有者的文档），并提出了归档或更新这些陈旧信息的计划。这对于确保我们的RAG方法和架构的成功至关重要。RAG可以通过主动检索最新和相关的信息来处理冲突信息，从而回答查询。专注于我们的数据质量使我们能够确保查询的答案是可靠和值得信赖的。
• 步骤3：为未来做好准备。 虽然我们计划从两个数据源开始，但我们知道这将随着时间的推移而增长。早期建立我们的数据治理框架将帮助我们在扩展时更快地增长。

提示： 投资于构建正确的数据策略和治理对于确保数据的质量和相关性至关重要，从而导致更准确和可靠的输出。一个定义明确的数据策略还有助于管理数据隐私和合规性，这对于维护用户信任和遵守监管要求至关重要。这在你扩展你的工具或生成式AI计划时尤为重要，因为它为你将要或不会纳入的功能和能力提供了框架。

一旦我们与核心团队和利益相关者达成一致，我们就开始构建我们的概念验证，以便我们能够进行实验、迭代并快速推进，符合我们的源代码原则“进步，简单的完美。”

认识ElasticGPT

ElasticGPT——我们基于RAG框架构建的生成式AI员工助手，旨在帮助Elastic员工通过自然语言查询检索相关信息，并为日常任务提供高效的信息总结方式。通过我们主要的专有数据源和公司内部工具（Confluence和ServiceNow）中的信息，用户可以轻松找到答案，而无需在多个来源中寻找信息。

过去，像John这样的员工需要花费大量时间（通常还包括他人的时间）来快速找到信息。

过去的状态：Elastic员工效率低下

但现在，John可以使用ElasticGPT自助查找信息。

Elasticsearch解决方案简报查询

有了ElasticGPT，像John这样的员工现在可以快速访问信息和答案，而无需花费大量时间寻找信息或联系多个Elastic员工，从而节省了他和他人的时间，可以专注于更具战略性的工作。

ElasticGPT背后的技术

ElasticGPT由多个产品和功能支持，这些功能构建在Elastic Search AI平台上。这包括Elasticsearch、向量数据库、语义搜索、企业连接器、Elastic Observability、应用性能监控（APM）和Kibana。这些功能在开发和监控ElasticGPT中发挥了特殊作用，使我们能够使用RAG技术构建一个可靠且准确的解决方案，安全地使用机密和专有数据。这些功能现在被称为Elastic AI生态系统。

我们企业产品中的每个搜索AI平台功能在构建这个解决方案中都起到了至关重要的作用：

1. Elastic Cloud：我们的IT组织使用Google Cloud Platform（GCP）和Microsoft Azure服务作为现有基础设施。我们使用GCP上的Elastic Cloud构建了ElasticGPT。
2. 企业连接器：我们使用托管连接器将我们的数据源（Confluence和ServiceNow的BigQuery）导入Elastic。
3. Elasticsearch：使用Elasticsearch作为向量数据库，我们可以通过“分块”过程轻松分解数据，帮助生成式AI处理大量数据并提供有效的响应。通过语义搜索和向量搜索，我们可以高效地检索对话上下文中最相关的答案。通过Elasticsearch的存储功能，我们可以实时存储所有对话和相关的元数据，如时间戳和用户反馈。
4. Elastic Observability：使用我们的Elastic Observability堆栈，我们实施了APM来跟踪ElasticGPT的性能和健康状况。这包括捕捉响应时间、错误率和资源利用率，以帮助我们识别和解决影响用户体验的瓶颈。
5. 信息安全：为了确保我们的数据安全并符合我们的安全策略，我们实施了包括所有Elastic员工的单点登录（SSO）认证在内的强大安全措施。
6. Kibana：通过访问APM的真实用户监控（RUM）数据，我们可以收集诸如用户参与度、总对话次数、失败次数、报告的聊天记录、模型使用情况和其他关键细节等指标，以跟踪ElasticGPT的使用情况、性能和其他关键绩效指标（KPIs）。

在构建ElasticGPT时，我们使用了Microsoft Azure OpenAI订阅，将GPT-4o和GPT-4o-mini等LLMs集成到我们的解决方案中。Elasticsearch检索查询上下文，然后将其传递给这些LLMs，使它们能够生成高度相关且易读的文本答案。Elasticsearch还使我们能够轻松存储每次交互的附加上下文，包括使用的特定LLM模型、对话线程、源引用和用户反馈。

通过部署在Kubernetes上，我们能够通过利用基于需求的自动扩展、零停机时间部署和通过Elastic Observability进行的全面监控，确保可扩展性和可靠性。

改变我们的工作方式

在ElasticGPT的第一个阶段，全球的Elastic员工正在使用生成式AI体验来查找相关信息。自推出的前90天以来，我们成功回答了近10,000个查询，基于聊天反馈的满意度达到了99%。ElasticGPT的业务影响通常取决于具体的用例。然而，在整个组织中，员工通过这种自助体验提高了效率。这不仅有助于处理组织内的重复问题或请求，还可以减少HR和IT等共享服务团队的支持工单。

在许多用例中，员工在日常工作流中使用该工具来总结信息、分析数据集、生成草稿，甚至激发他们的创造力。以下是我们在组织中早期使用中看到的一些具体用例：

1. 产品支持：新员工使用ElasticGPT了解我们的产品和功能，而现有员工则赶上Elastic的创新速度，特别是新发布和推出的内容。

在市场营销团队工作时，我开始使用ElasticGPT来验证撰写内容时特定产品功能的技术能力。

产品市场营销

2. HR、IT、法律和公司信息：用户可以提出问题，例如，“如何请求访问特定工具？”、“我在哪里可以找到我的福利信息？”、“我们的差旅和费用政策是什么？”或“我们12月的假日聚会是什么时候？”

我的团队中有一个人结婚了，需要更改她的姓氏。我使用ElasticGPT找到了如何将她的Elastic福利更改为她的新姓氏的信息。

法律运营

3. 销售运营：我们销售组织的用户使用ElasticGPT来查找和更好地理解我们的销售动作、流程和关键联系人。用户可以找到手册，并在何时联系辅助团队以及可用资源方面做出明智的决策。支持销售团队，如交易台或订单操作团队，也使用ElasticGPT跟进内部流程。

我经常看到特定目标细分市场的新销售动作在进行。使用ElasticGPT可以轻松了解最新和最棒的材料。

客户经理

4. 分析：我们已经看到多个ElasticGPT聊天记录，其中团队使用ElasticGPT来总结大型文章或数据集。

我们还观察到，启用ElasticGPT后会产生一种飞轮效应。当员工在响应中遇到过时的信息时，他们会采取行动更新或通知内容所有者。这有机地改进了我们的知识库，使我们能够使用更新的信息，并使ElasticGPT更加可靠。

接下来是什么？

在评估ElasticGPT的生成式AI路线图的下一个步骤时，我们主要考虑以下几个方面：

• 扩展我们的知识库：我们正在考虑增加增量数据源到我们的知识库，以提供更广泛的信息访问。
• 使用托管API服务进行扩展：基于我们的“中央着陆点”方法，我们希望使我们的业务团队更容易开始使用生成式AI。我们正在开发一个托管API服务，团队可以使用它来进行实验。
• 构建特定功能的体验：我们计划添加专门的内部模型来支持特定功能用例，如财务和法律，不同的模型使用我们的Elastic推理API。这允许访问针对特定功能微调的模型和现成的选项，确保灵活性和精确性以满足多样化的业务需求。
• 引入自动化：我们计划研究如何为手动和例行任务引入代理工作流自动化，设置预定义的目标。

在工作流中拥抱生成式AI

考虑为你的工作场所构建一个生成式AI工具吗？成功的发布需要计划和准备。在开始构建之前，你的组织应定义一套关于如何以及在哪里安全使用生成式AI工具的指南和框架。这些指南概述了确保敏感数据保护等重要原则，并考虑了创建材料的版权等方面。

生成式AI工具可以是强大的资产，但它们也带来了一系列新的风险，需要考虑。预先建立你的指南、数据策略和框架将帮助你在讨论中导航你将做什么以及你不会做什么。换句话说，你将能够定义哪些功能和数据源将在你的构建范围内，以及如何使用这些输出。

使用Elastic的生成式AI功能很容易，通过我们的AI游乐场可以解锁强大的生成式AI功能，使用LLMs并享受免费14天试用。测试数据摄取，构建概念验证，体验Elastic的机器学习和RAG功能。实时、在任何云中或多个云中部署任何数据，规模化。

深入了解如何在你的组织中实现生成式AI或在AI游乐场开始。