使用 Elastic Playground 与 PDF 文件交流

Elasticsearch 8.16 引入了一项新功能，允许你直接将 PDF 文件上传到 Kibana，并通过 Playground 对其进行分析。在本文中，我们将演示如何使用这一功能，通过上传一份 PDF 格式的简历，并利用 Playground 与其互动。

Playground 是 Kibana 中的一个低代码平台，允许你创建一个 RAG 应用并与内容进行对话。你可以在这篇文章中了解更多信息，并通过这个链接进行测试。

步骤：

1. 配置 Elasticsearch 推理服务端点
2. 将 PDF 上传到 Kibana
3. 在 Playground 中与数据互动

配置 Elasticsearch 推理服务端点

为了进行语义搜索，我们首先需要配置一个推理端点。在本例中，我们将使用 Elasticsearch 推理端点。这个端点提供以下功能：

• 重排序
• 稀疏嵌入
• 文本嵌入

在本例中，我们选择 稀疏嵌入：

PUT _inference/sparse_embedding/my-elser-model
{
  "service": "elasticsearch",
  "service_settings": {
    "adaptive_allocations": {
      "enabled": true,
      "min_number_of_allocations": 1,
      "max_number_of_allocations": 10
    },
    "num_threads": 1,
    "model_id": ".elser_model_2"
  }
}

配置完成后，通过检查 Kibana 界面中的 Search > Relevance > Inference Endpoint 确认模型已正确加载到 Kibana 中。

Kibana 界面中的推理端点

将 PDF 上传到 Kibana

我们将上传一位初级开发者的简历，以学习如何使用 Kibana 的上传文件功能。

PDF 简历示例

进入 Kibana 界面并按照以下步骤操作：

Kibana 操作步骤

接下来，对于 导入数据，我们有两种选择：

简单模式： 这是默认选项，允许我们快速将 PDF 上传到索引中，并自动创建包含索引信息的数据视图。

Kibana 中的导入数据

高级模式： 此选项允许我们自定义映射或添加摄取管道。在这些设置中，你可以：

• 添加 语义文本 字段类型。
• 索引设置：如果你想配置分片或分析器等内容。
• 索引映射：如果你想更改字段类型或定义数据的方式。
• 摄取管道：如果你想在索引数据前对其进行更改。

进入“高级模式”并选择“添加额外字段”：

Kibana 中的高级设置

选择字段 attachment.content；在“复制到字段”中输入“content”，并确保推理端点为 my-elser-model：

Kibana 中的附件内容

复制到 字段用于将 attachment.content 的内容复制到新的 semantic_text 字段（content），这会自动使用底层推理端点（在本例中为 Elastic 的 ELSER）生成向量嵌入。这样，你可以运行 全文、语义 或 混合 搜索。

配置完成后，点击“导入”：

Kibana 中的导入完成

现在索引已经创建，我们可以使用 Playground 来探索它。

在 Playground 中与数据互动

连接到 Playground

在配置索引并上传简历后，我们需要将索引连接到 Playground。点击 Connect to an LLM 并选择一个选项。

连接到 Playground

配置聊天机器人

一旦配置了 Playground 并索引了 Alex Johnson 的简历，我们就可以与数据互动。使用语义搜索和 LLMs，我们可以使用自然语言提问，即使文档中没有我们查询的关键词，也能得到答案，比如下面的例子：

配置聊天机器人

通过指令菜单，我们可以控制聊天机器人的行为并定义响应格式等功能。它还可以包含引用，以确保答案有据可查。

如果我们进入“查询”选项卡，可以看到由 Playground 生成的查询。如果我们添加了 text 和 semantic_text 字段，Playground 将自动生成一个 混合查询，以在不同类型的查询之间标准化评分。

Playground 中的“查询”选项卡

Playground 不仅可以回答问题，还可以帮助我们理解 RAG 系统的内部组件，如查询、检索阶段、上下文和提示指令。

试试看吧！

通过 Elasticsearch 8.16 更新，我们可以轻松地使用 Kibana 界面上传 PDF/Word/Powerpoint 文件。它可以在简单模式下自动创建索引，而你也可以使用高级模式来自定义索引以满足你的需求。

文件上传后，你可以访问 Playground 并快速、轻松地与其进行对话，因为 Playground 将处理 LLM 交互并根据你要搜索的字段类型提供最佳查询。