Logstash 通过管道来实现数据的采集处理，它包含必选的 input 和 output 插件，以及可选的 filter 插件，并支持多管道并行运行，目前支持并行的上限为10个。本文介绍如何通过配置文件管理管道，包括创建管道、修改管道、复制管道和删除管道。
创建管道
1. 登录 Elasticsearch Service 控制台，在左侧导航栏单击 Logstash 实例，进入 Logstash 实例列表页。
2. 在实例列表页，单击实例 ID/名称进入实例基本信息页，然后进入管道管理页签，单击新建管道。
3. 进入新建管道页面，单击引用模板进入选择模板页面。
4. 在选择模板页面，勾选默认提供的 input 和 output 模板，然后单击引用将模板引入到 Config 配置中。
5. Config 配置
用户需根据实际需要修改 Config 配置。
input {...}filter {...}output {...}
参数说明
参数 | 说明 |
input | |
filter | |
output |
修改参数配置
参数 | 说明 | 默认值 |
管道 ID | pipeline.id，管道的唯一标识 | - |
管道工作线程 | pipeline.workers，管道的工作线程数量，也是并行执行管道的 filter 和 output 的工作线程数量 | 实例单节点的 CPU 核数 |
管道批处理大小 | pipeline.batch.size，每个批次处理的最大事件数量 | 125 |
管道批处理延迟 | pipeline.batch.delay，当管道批处理大小不满足时，每个批次最大的等待时间，单位为毫秒 | 50ms |
队列类型 | queue.type，用于事件缓冲的排队模型，可选值为 memory（基于内存的内列）或者 persisted（基于磁盘的持久化队列） | memory |
队列最大字节数 | queue.max_bytes，当选择 persisted 队列类型时，队列中可存放的最大字节数量，需确保该值小于实例单节点的磁盘容量 | 1024MB |
队列检查点写入数 | queue.checkpoint.acks，当选择 persisted 队列类型时，在强制执行检查点时已写入的最大的事件数量，若设置为0，则表示无限制 | 1024 |
6. 单击保存或者保存并部署，即可新建管道。新建的管道需要保存并部署才能生效。
单击保存：保存管道信息到 Logstash 并触发实例变更，配置不会生效。保存后返回管道管理页，可在管道列表中选择操作 > 部署，触发实例自动加载管道配置并生效。
单击保存并部署：保存并且部署后，触发实例自动加载管道配置并生效。
修改管道
修改管道后，需要保存并部署才能生效，此操作会触发实例自动加载管道配置并生效。
1. 在管道列表中，单击要修改的管道 ID，可以进入管道修改页。
2. 在管道修改页，单击修改，修改管道的Config 配置和参数配置。
3. 单击保存并部署，待实例自动加载管道配置后完成管道修改。
复制管道
复制管道后，需要保存并部署才能生效，此操作会触发实例自动加载管道配置并生效。
1. 在管道列表中，找到需要复制的管道，在操作列中单击复制。
2. 在复制管道页，修改管道 ID。
3. 单击保存并部署，待实例自动加载管道配置后完成管道修改。
删除管道
注意
管道删除后无法恢复，正在运行的管道会被中断，请确认后操作。
管道删除会触发实例变更，请在不影响业务的情况下操作。
1. 在管道列表中，找到需要删除的管道，在操作列中单击删除。
2. 在删除管道对话框中，单击确定删除管道。
