logstash多流水线判定器
是一个用于数据处理和分析的开源工具，属于ELK（Elasticsearch、Logstash、Kibana）技术栈中的一部分。它提供了一种简单而强大的方法来收集、过滤、转换和发送日志数据。
概念： logstash多流水线判定器是logstash的一个组件，用于根据自定义的条件将输入数据分发到不同的流水线中进行处理。
分类： logstash多流水线判定器可以根据不同的数据源和处理需求进行分类。例如，可以将来自不同服务器的日志数据分发到不同的流水线中，或者根据日志内容的不同将其分发到不同的流水线中进行特定的处理。
优势：
- 灵活性：多流水线判定器使得用户能够根据自己的需求和条件对日志数据进行灵活的分发和处理，提高了数据处理的效率和准确性。
- 可扩展性：通过多流水线判定器，用户可以轻松地扩展和管理不同的数据源和处理流程，满足不同规模和复杂度的数据处理需求。
- 效率提升：多流水线判定器可以并行处理不同流水线中的数据，从而提高了数据处理的效率和响应速度。
应用场景： logstash多流水线判定器广泛应用于日志数据处理和分析领域。例如，在大规模的分布式系统中，通过将来自不同服务器的日志数据分发到不同的流水线中，可以实现对不同服务器的实时监控和故障排查。另外，它还可以用于应用日志、安全日志、系统日志等领域的数据处理和分析。
推荐的腾讯云相关产品： 腾讯云提供了一系列与logstash多流水线判定器相关的产品和服务，包括：
- 云服务器（Elastic Compute Cloud，ECS）：提供灵活的虚拟服务器，可用于部署logstash多流水线判定器。
- 云数据库MySQL（TencentDB for MySQL）：可用于存储logstash多流水线判定器处理后的数据。
- 弹性伸缩（Auto Scaling）：根据负载情况自动伸缩logstash多流水线判定器的实例数量。
- 云监控（Cloud Monitor）：实时监控和管理logstash多流水线判定器的运行状态和性能指标。
产品介绍链接地址：
相关·内容
2回答
Logstash在几个小时后停止处理日志。当日志停止处理时，logstash服务会消耗大量CPU性能(总共32个内核，大约25个)。当logstash服务正常工作时，总共消耗大约4-5个核心。流水线每分钟产生大约50k个事件。Logstash Conf (非默认值)：pipeline.workers: 15 pipeline.batch.size: 100 JVM CONF：-Xms15g -Xmx15g input {
tcp {
port => 5044
type => syslog
}
udp {
port => 5044
浏览 111提问于2019-04-22得票数 1
我有LogStash过滤器，我想知道我的日志文件中有哪些事件被删除了，因为我在logstash输出文件中看不到它们。如何做到这一点？ 我的过滤器看起来像这样： filter {
grok {
patterns_dir => "C:\logstash-7.4.2\patterns"
match => { "message" => "^\[%{TIMESTAMP_ISO8601:timestamp}\]\[%{LOGLEVEL:level}\]\[%{TThread:thread}\]\[%{JAVACLASS:cla
浏览 30提问于2020-08-24得票数 0
回答已采纳
2回答
关于如何使用cloud.id配置弹性云的logstash的说明并不完整。具体地说，如果将cloud.id和cloud.auth放入*.conf中，说明中并没有说明要将什么内容放入logstash.yml文件的输出部分。假设使用cloud.id可以消除放置ES实例的URL的需要。
如果在输出部分中什么也没有放入，logstash将抛出一个配置错误。如果你把一些东西放在那里，这是不合逻辑的，因为不需要任何东西，它会尝试连接到localhost上的ES：
output {
elasticsearch {
}
}
这是一个错误，因为日志堆栈没有使用cloud.id。
浏览 1提问于2019-06-19得票数 1
我正面临着logstash的延迟问题。
事实上，我有一个麋鹿堆像这样建造：
我在AWS自动标度组中有几个关于AWS EC2的web前端。
我在每条战线上都安装了文件
File节拍读取文件并向redis集群发送消息(aws elasticache redis、主节点和从节点，群集模式禁用)
我在一个EC2 c4.size上安装了logstash，它从redis (pop)中读取日志，并在Elasticseach集群中对它们进行索引。
我的elasticsearch由三个EC2 c4.xlarge组成
logstash还从s3中读取elb日志并在elasticsearch集
浏览 1提问于2017-01-09得票数 0
在一个多周期数据路径中，所有I型MIPS指令是否都采用相同的周期数？我知道R型有相同的循环数。
浏览 2提问于2021-06-27得票数 1
回答已采纳
我想要构建一个触发器或任何其他方式，以便我在CodeCommit 2中的一个代码库中所做的每一次更改都会触发不同的作业。
假设我有代码库A，B，C -每当A发生变化时，我只想构建B，C。A就像一个不需要构建的模块的src。
浏览 12提问于2019-07-25得票数 0
回答已采纳
我正在尝试用sci-kit learn LDA分类器绘制决策边界。
我知道您可以使用transform方法转换多变量数据，将数据投影到第一个分量行(两个类的情况)。如何获取作为分类轴心的第一个组件的值？这就是，作为决策边界的值？
谢谢!
浏览 0提问于2013-03-15得票数 2
我正在查看logstash pipeline.workers选项，该选项声明
-w，-流水线，工人计数
设置要运行的管道工作人员数目。此选项设置将执行管道的过滤器和输出阶段的工作人员(并行中的)的数量。如果您发现事件正在备份，或者CPU尚未饱和，请考虑增加此数目以更好地利用机器处理能力。缺省值是主机的CPU核数。
我想知道logstash输入阶段是否也使用了我的机器的所有核心：
input {
kafka {
bootstrap_servers=>"kfk1:9092,kfk2:9092"
topics => ["mytopic&
浏览 4提问于2017-02-22得票数 1
在算术逻辑单元中，当给出两个32位输入时，则接收64位输出。ALU如何存储和处理数据以产生输出？ALU是否有一些内部存储？如果是，优点和缺点是什么？
浏览 2提问于2016-03-14得票数 1
我很难将Logstash连接到运行在Azure中的Kafka实例。我的卡夫卡主机有一个静态的公共IP地址。如果我将一个Logstash机器放在同一个子网中并将两者连接起来，一切都会很好。但是，当我试图通过公共IP地址向kafka实例发送数据时，我会收到错误。例如，尝试将我的Logstash实例从家中连接到Azure云环境。
下面是相关的配置文件和我尝试过的内容：
Logstash输出：
kafka {
bootstrap_servers => "my public ip:9092"
codec => json
topic_id =>
浏览 2提问于2018-05-09得票数 1
回答已采纳
3回答
想要一起部署带有3个日志定义的文件节拍。发送到不同的输出目标。
---
apiVersion: apps/v1
kind: DaemonSet
metadata:
name: filebeat
labels:
k8s-app: filebeat
spec:
selector:
matchLabels:
k8s-app: filebeat
template:
metadata:
labels:
k8s-app: filebeat
spec:
serviceAccountName: filebeat
浏览 18提问于2020-12-18得票数 0
回答已采纳
1回答
在Z3 (Python)中，我解决了以下问题：
y1,y2,x = Ints('y1 y2 x')
univ = ForAll([x], (y1<y2+x*x))
phi = Exists([y1,y2], univ)
solve(phi)
请注意，编码没有意义，只是播放而已。
关键是这个结果完全让我大吃一惊，因为它返回了一个结果！这是令人惊讶的，因为我一直在研究一阶理论，据我所知，LIA是可判定的，而NIA则不是(在理性主义中也是如此)。结果是[]，顺便说一句：有效。
所以我在这一边搜索了这个问题，发现()，是莱昂纳多·德莫拉自己回答如下:如果一个公式有一个解，我们总
浏览 8提问于2021-11-24得票数 2
回答已采纳
我有点混淆了流水线数据处理以及流水线控制处理器，这两者之间有什么区别？此外，我发现了一些网站，说明‘流水线/非流水线系统’，我也想有一些解释这一点。关于上述问题，答案是please '>1，简短，但我无法理解答案背后的逻辑，所以请也帮助我.
浏览 3提问于2022-05-31得票数 0
回答已采纳
我刚接触kafka和logstash。我希望使用logstash作为生产者，并希望使用SSL。
下面是我的logstash conf
input {
http {
port => 5044
codec => json
}
}
output {
kafka {
#bootstrap_servers => ["localhost:9093"]
bootstrap_servers => ["kafka broker's IP:9093"]
topic_id => "te
浏览 9提问于2020-06-26得票数 2
我被要求为指令(js，sll，slti)绘制一个多周期的数据路径和控制单元。并绘制这3条指令的主控制器FSM。
我正在与之斗争，我知道如何使用单循环数据路径，但不知道如何使用多循环。
求求你，帮帮忙
浏览 33提问于2020-06-03得票数 0
我正在尝试实现让Logstash监听2个不同的节拍端口-一个用于filebeat，另一个用于winlogbeat，方法是将conf文件设置为- input {
beats {
id => "winlogbeat_plugin"
port => 5044
}
beats {
id => "filebeat_plugin"
port => 5045
}
} 但是，当容器从这个logstash映像创建时，它似乎只在netstat -an清单中显示了正在侦听的5044 Logstash一次只能监听
浏览 54提问于2021-04-23得票数 0
我是ELK新手，我想建立一个用ES索引Microsoft和应用.NET日志的解决方案。
我知道不同的方法：
1) 应用服务器:日志文件➔Logstash➔收集服务器: Redis➔Logstash➔ES集群: ES➔Kibana
此方法的缺点是必须在每个生成日志的Windows服务器上安装、配置和维护一个logstash实例
2) 应用服务器:日志文件➔文件➔收集服务器: Logstash➔Redis➔Logstash➔ES集群: ES➔Kibana
这种方法的缺点是，当前文件拍不支持多行日志条目，而且我的.NET应用程序会产生多行异常。我不知道如何配置中间logstash+redis+log
浏览 0提问于2015-12-20得票数 0
回答已采纳
我理解功能上的多/Exec和管道是为不同的目的和特性而设计的。
但是，只考虑块写入的性能，这样性能会更好。我的理解是，Multi/Exec将创建一个请求，管道内衬将创建单独的请求，但将避免RTT。
浏览 3提问于2014-01-27得票数 1
1回答
我们在具有F、D、X、W级的4级IN-ORDER流水线中运行上述代码，其中X用于ADD需要4个流水线周期，并且对于MUL需要6个流水线周期。假设没有转发(绕过)，也就是说，我们需要在每个数据依赖项上停止。代码需要多少周期才能执行？
代码和我的答案附在下面的图片中。我认为我应该使用excel，因为它看起来更有条理。
答案是27,28,29,30。我得了27分。是那么回事吗？。你得到的是啥？
浏览 1提问于2016-10-12得票数 0
1回答
我必须证明语言L= {< M >：|L(M)| <= 2016}不是半可判定的。现在我想这样做：
以随机字母E为例，现在E中有无限个单词，我们只能通过将E*中的每个单词作为输入传递给M来得出|L(M)| <= 2016。但是因为有无限数量的单词，这意味着我们必须将输入传递给M无限次。但这意味着执行这些检查的图灵机结束于无限循环，因此永远不会返回、接受或拒绝它的输入。因此，语言L不是半定的。
但我认为这可能还不够正式？主要是因为我只是假设检查这种语言的图灵机会让M在E*中的每个单词上运行。这个假设是有效的吗，或者我应该更正式地这么说？
浏览 25提问于2017-05-28得票数 0
我有一个服务器，所有的日志都在一个目录中。现在，这些文件按日期分隔。如何设置filebeat，以便将这些文件中的所有日志文件发送到其他服务器上的kibana(以及如何配置)，以便在单个文件中以同样及时的方式接收日志。
例如:在服务器A中:我有40个日志文件，用于最近40天的日志
我希望这40个日志及时，从最旧的到最新的在其他服务器的单个文件中。
此外，带有今天日期的文件将使用新日志进行更新。
我已经配置了filebeat和logstash，以便维护同步，但日志不是及时的，因为我的一些逻辑在处理它时遇到了问题。
glob模式
浏览 27提问于2019-07-23得票数 0
1回答
如何制作一个图灵机图形，它可以识别all words with an even number of a's，但它是not a decider而不是其他任何东西。另外，如何为相同的语言制作decider图灵机图形。
浏览 45提问于2020-06-28得票数 1
我在ELK上关注这篇文章：，在这个体系结构中，serilog日志记录到Logstash，然后logstash推送到弹性搜索，如果弹性搜索不可达，或者如果logstash服务关闭，或者如果网络关闭或系统关闭，简而言之，我要去哪里，我如何确保我的日志在所有情况下都不会丢失，日志也应该离线可用。我想先存储在日志文件中，然后从文件到弹性搜索处理日志，但是文件会随着时间的推移而增长，然后我必须注意没有重复的消息，消息也需要删除，最重要的是在读写文件时没有死锁的情况，你能帮我理解一下ELK是否会注意，如果我使用fluend或fluentbit而不是logstash，它们是不是更好？
代码：
var log
浏览 1提问于2021-05-02得票数 0
根据教程，我刚刚在我的Ubuntu服务器上安装了Logstash，我的iptables只允许80和22个端口。因此，当Logstash启动时，我在日志中得到以下iptables错误。
什么是224.2.2.4地址?我应该做些什么来防止这个错误？
浏览 2提问于2013-08-10得票数 0
我正在尝试从码头映像中启动Logstash，以便将日志发送到运行在另一个码头容器上的RabbitMQ实例。
我将两个容器链接起来，并使用以下命令和配置文件启动Logstash：
docker run --link rabbitmq:rabbit -it log-sender logstash -f config.conf
config.conf：
input {
stdin {
}
}
output {
rabbitmq {
host => "RABBIT_PORT_5672_TCP_ADDR"
exchange
浏览 4提问于2015-04-24得票数 2
回答已采纳
我正在尝试找到一种方法，如何在logstash中将新字段添加到消息的开头。 背景:我正在摄取JSON格式的数据，并使用mutate.add_field插件向消息中添加新字段。 然而，我似乎找不到一种方法来定义这个新领域的位置。然后将消息作为字符串输出到文件中。从这里开始，还有其他一些进程会获取该文件并应用正则表达式来提取所需的信息。为了简化正则表达式模式，我希望将关键字段放在消息的开头。
浏览 36提问于2019-04-02得票数 1
1回答
我有这个管道: Kafka->Logstash->ElasticSearch->Kibana
我找到了一个生产者性能工具，可以通过脚本“bin/kafka- producer -perf-test.sh”调用。
我想知道是否有人有任何关于测试性能端到端测试的建议？
谢谢。
浏览 13提问于2017-07-10得票数 1
回答已采纳
我通过ssh登录连接到远程主机，并通过以下命令运行logstash
$./logstash -f first-pipeline.conf
但是，在我从服务器注销后，logstash将停止运行。如何使它即使在我退出后也能继续运行。谢谢。
浏览 0提问于2016-06-10得票数 0
回答已采纳
2回答
我正尝试在上使用chef-logstash食谱，并且在重写['logstash']['instance']['server']['config_templates']属性时遇到了困难。当我在上通过我的包装器食谱设置它时，我得到了默认值的合并散列，以及我通过包装器配方添加的内容。
作为参考，我在食谱中使用的代码是：
#force override our attributes (or attempt to anyways)
#attributes = node['logstash']['instance
浏览 3提问于2014-04-07得票数 3
2回答
我有一个nodejs web服务器，其中似乎存在一些瓶颈，使其无法充分发挥峰值负载的作用。
将多个事件记录到我们的SQL server
将多个事件记录到弹性集群中
在负载较重的情况下，SQL和弹性似乎都拒绝我的请求和/或相当慢的性能。因此，我决定通过Logstash (用于弹性)和异步任务队列(用于SQL)来减少这些DB的负载。
由于我的工作时间有限，我想知道我是否可以通过一个异步任务队列(如)来解决这些问题，在该队列中，我可以同时推送SQL和弹性日志。
我也需要实现logstash吗？或者异步队列解决与logstash相同的问题。
浏览 1提问于2018-09-11得票数 1
2回答
我试图将logstash配置为将elasticsearch集群作为一个节点加入，使用多播来避免在logstash配置上配置特定主机。
我在elasticsearch上的配置基本上是：
transport.tcp.port: 9300
http.port: 9200
cluster.name: myclustername
discovery.zen.minimum_master_nodes: 1
discovery.zen.ping.timeout: 30s
discovery.zen.ping.multicast.enabled: true
discovery.zen.ping.multica
浏览 1提问于2014-06-05得票数 0
回答已采纳
2回答
我想知道处理器是如何在多周期数据路径中进行乘法的，从一开始，即从指令读取->解码指令->读取寄存器文件，等等。
换句话说，我想知道，给定booth的乘法算法是单独实现的(给出了一个电路)，您将如何扩展多周期数据路径，以使用最少的资源支持乘法指令。
你也能分辨出组织吗？
浏览 1提问于2010-10-31得票数 0
回答已采纳
在研究描述逻辑( DL )时，很常见的理解是它是一阶逻辑( FOL )的一个片段，但很难从描述逻辑(及其所有方言ALC、SHOIN等)中排除的内容中明确地读到一些东西。可以决定的。或者换句话说，你能在FOL中提供一些无法通过DL表达的示例(以及FOL中半/不可判定的原因是什么)？
浏览 6提问于2014-07-16得票数 13
1回答
我想要对一个概念进行一些澄清。为了证明一个问题是NP完全的，我们使用约简。
现在假设我有L<=L‘。是否可以从L到L‘，或者我也可以以相反的方式进行？即，如果L‘可以用L’求解，那么L‘是NP-完全的？
我对此感到相当困惑。
例如。对于从ham循环到ham path的简化，我们采用向后的方式。
此外，我也不能解决这个问题，我必须证明“在一个至少有k条边的图中，是否有一条从s到t的路径”。
请给我一个澄清，并指导我解决上述问题。谢谢
浏览 8提问于2012-11-19得票数 0
我的需求是使用go实现连接到redis集群的流水线事务。我使用的是go-redis包，它支持redis集群，管道和transactions.How。我不使用go-redis包中的监视键来实现流水线事务。我还研究了实现事务时所需的package.Is监视关键字中的Tx.Pipeline()
浏览 5提问于2016-12-09得票数 1
1回答
假设在你的web应用程序中，你需要做一些redis调用来渲染一个页面，比如，获取一堆用户散列。为了加快速度，您可以将redis命令包装在一个多/EXEC部分中，从而使用流水线，这样您就可以避免进行多次往返。但是你也想要分片你的数据，因为你有大量的数据和/或你想要分配写。那么流水线将无法工作，因为不同的键可能位于不同的节点上，除非您清楚地了解基于角色的应用程序和分片的数据布局，而不是使用哈希函数。那么，在不影响性能的情况下跨不同服务器共享数据的最佳实践是什么呢？我相信答案取决于你正在开发的web应用程序，我最终会运行一些测试，但了解其他人如何处理我提到的权衡会很有帮助。
浏览 0提问于2012-05-09得票数 6
回答已采纳
我正在读一篇关于Haskell和HList是如何实现的研究论文，我想知道所描述的技术对于类型检查器来说是可决定的还是不可决定的。另外，因为您可以使用GADT做类似的事情，所以我想知道GADT类型检查是否总是可决定的。
如果你有的话，我更喜欢引用，这样我就可以阅读/理解解释。
谢谢!
浏览 0提问于2008-09-07得票数 16
回答已采纳
我已经使用ELK大约六个月了，到目前为止，它很棒。我使用的是logstash版本6.2.3。RabbitMQ构成了我的分布式系统的核心(RabbitMQ本身就是分布式的)，因此跟踪RabbitMQ的日志是非常重要的。这个论坛上的大多数其他对话似乎都使用RabbitMQ作为输入/输出阶段，但我只想监控日志。我发现的唯一问题是RabbitMQ有多行日志记录，如下所示：
=WARNING REPORT==== 19-Nov-2017::06:53:14 ===
closing AMQP connection <0.27161.0> (...:32799 -> ...:5672, v
浏览 3提问于2018-04-04得票数 1
当我使用logstash_input_jdbc插件同步MySQL和本地弹性搜索时，
下面的错误出现在上，但是我搜索了很长时间，但到目前为止我还没有解决方法。
./logstash -f ./logstash_jdbc_test/jdbc.conf管道由于错误{:exception=>#，prepare_jdbc_connection'", "/usr/local/logstash/vendor/bundle/jruby/1.9/gems/logstash-input-jdbc-3.0.2/lib/logstash/inputs/jdbc.rb:167:in
浏览 2提问于2016-07-14得票数 1
我尝试用两个不同的logstash索引器服务器进行负载平衡，但是当我向日志添加1000行时，文件拍只将日志发送到一个服务器(我启用了stdout并可以直观地检查输出，查看哪个logstash服务器正在接收日志事件)。
我的档案：
filebeat:
prospectors:
-
paths:
- "D:/ApacheLogs/Test/access.*.log"
input_type: log
document_type: my_test_log
scan_frequency: 1s
registr
浏览 0提问于2016-05-11得票数 1
在我的CentOS中，有一个Logstash，它生成许多日志文件。下面是日志文件的样子：
logstash-2023-03-09.log logstash-2023-03-20.log logstash-deprecation-2023-03-08-1.log.gz logstash-plain-2023-03-14-1.log.gz logstash-plain-2023-03-25-1.log.gz
logstash-2023-03-10.log logstash-2023-03-21.log logstash
浏览 0提问于2023-03-29得票数 1
回答已采纳
3回答
这是维基百科中可判定的定义。
在可计算性理论中，一个不可判定的问题由一系列需要一个特定的是/否答案的实例组成，这样就没有计算机程序，在给定任何问题实例作为输入后，在有限的步骤之后终止和输出所需的答案。更正式地说，一个不可判定的问题是其语言不是递归集的问题。
递归集是可递归枚举集的子集。有一些递归枚举语言在递归集之外。那么，为什么递归枚举语言不能确定呢？
浏览 3提问于2012-02-26得票数 5
回答已采纳
我正在尝试使logstash2.3.3 websocket输入工作。
Logstash：
Logstash的Websocket输入插件：
Websocket服务器：
Websocket客户端: Chrome插件“简单Web套接字客户端”
我知道去年有一个bug，logstash1.5.0和websocket输入插件。我也收到了同样的错误消息，尽管我不能再复制它们了。以下是我目前的程序和结果。我希望那个bug已经修复了，我只是找不到正确的配置。
首先，我安装了插件，并确认它是已安装的。
/app/bin/logstash-plugin list | grep "websocket"
浏览 2提问于2016-07-05得票数 2
回答已采纳
1回答
未知的编译器“优化”没有意义。
、、、、
我看了一下我用Visual 2008编译的一些代码的反汇编，我在代码中看到了一些奇怪的“优化”，在调用函数和传递参数时不太合理。例如，以下代码输出以下反汇编：
代码：
int version;
int result = canParse(code, &version);`
拆卸：
003CE9FA push eax ; version
003CE9FB push ecx ; code
003CE9FC mov ecx, [esp+50h+code] ; AbcParser *
003CEA00 mov eax,
浏览 3提问于2011-04-21得票数 0
在3个不同的服务器上设置Elasticsearch，logstash和kiban，每个服务器都有8 8GB的RAM，这是一个好的做法吗？或者在一台16 of内存较高的机器上设置ELK。机器需要高度可用。有没有人可以提出建议或分享意见？
浏览 24提问于2017-07-18得票数 0
1回答
我目前尝试使用Logstash的电子邮件插件。然而，Logstash实例总是以ECONNREFUSED错误崩溃。
这是我的config.conf文件的内容：
input {
generator {
lines => [ "logstash test: line 1" ]
count => 1
}
}
output {
email {
to => "stuff@stuff.com"
}
}
它总是失败，但有以下错误：
Errno::ECONNREFUSED:连
浏览 6提问于2015-06-29得票数 1
回答已采纳
1回答
克莱恩星无法分辨
、、、
我知道，如果L是可判定的，我们可以通过构造一个图灵机来证明L*也是可判定的，但是我很难解决这个问题:如果L是不可判定的，那么L*也是不可判定的。这句话是真的还是假的？
浏览 2提问于2017-10-03得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
