当我在带有PLAIN_TEXT端口9092的Kafka broker中使用下面的"/usr/bin/kafka-delete-records“命令时，该命令工作正常，但是当我使用SASL_SSL端口9094有人知道在SASL_SSL中使用Kafka broker端口9094的解决方案吗？/kafka/records.json`
[2019-10-14 04:15:49,891] ERROR Uncaught exception in thread '<
浏览 5提问于2019-10-14得票数 5
我有一个由3位kafka经纪人组成的集群，版本为0.10.2.1。每个代理都有自己的主机2CPU/ 16G RAM，此外，我们还使用docker包装代理进程。起初，我认为这与有关，但过了一段时间，我发现代理只是因为OOM杀手而崩溃。
在我发现它是OOM杀手之前，我还玩过Xmx和Xms。-172-40-103-177 kernel: [16504862.761019] run-parts invoked oom-killer: gfp_mask=0x26000c0, order=2,oom_sco
浏览 0提问于2018-01-24得票数 2
回答已采纳
1回答
我使用Kafka连接两条具有3天连接窗口的流： stream1.join(stream2, streamJoiner(), joinWindow, joinStores);
通过上面的实现，我发现Kafka创建了状态文件夹：/tmp/kafka-streams，(看起来像RocksDB)和，它不断地增长。return new InMemoryWindowBytesStoreSupplier(storeName, window, wind
浏览 0提问于2020-08-03得票数 0
回答已采纳
我们构建了一个自定义的Kafka Connect接收器，它反过来调用一个远程REST API。我如何将反压力传播到Kafka Connect基础设施，以便在远程系统比内部使用者向put()传递消息慢的情况下较少调用put()？Kafka connect文档说我们不应该在put()中阻塞，而应该在flush()中阻塞。但是在put()中不阻塞意味着我们必须缓冲数据，这肯定会导致OOM异常，如果put()调用比flush()更频繁的话。我已经看到，允许kafka使用者在循环中调用pause()或block (
浏览 0提问于2018-04-19得票数 16
我正在使用kafka-streams，堆外内存使用量增长到了机器的物理极限。然而，当在docker中运行kafka-streams时，内存使用量超过了容器的限制，因此容器会被OOM杀死。
浏览 87提问于2019-04-07得票数 1
2回答
我需要从数据库中读取所有这些记录，将它们发送到kafka队列进行处理，以便其他系统进行处理。然后从输出kafka队列中读取结果，并写回DB。
我需要在正常的部分中读写，否则我会立即得到OOM异常。
浏览 8提问于2017-02-27得票数 1
我使用SingleStore从Kafka加载事件。我用以下脚本创建了Kafka管道：as load data kafka 'kafka-all-broker:29092/events_streamterminated by '\t' enclosed by '' escaped by '\\'
lines terminated by '\n' starting
浏览 10提问于2021-10-25得票数 2
所以我有一个Java服务，它在一个while循环中使用Kafka来获取kafka-clients主题。在执行大约3-5分钟后，我在运行单个使用者时遇到了OOM (内存不足)问题。我捕获了一个堆转储，它指向org.apache.kafka.common.network.Selector占用已分配的内存。最终我得到了GC overhead limit exceeded错误。 Kafka JIRA Debugging a memory leak in Apache Kafka® 以下是我的一
浏览 118提问于2021-11-05得票数 0
我试图在我的ApacheSpark1.4.1和Kafka0.9.0.0之间启用SSL，我使用spark-streaming-kafka_2.10 Jar连接到Kafka，我使用KafkaUtils.createDirectStream方法从Kafka主题读取数据。最初，我得到了OOM问题，并通过增加驱动程序内存来解决这个问题。在我看到下面这个问题之后，我做了一些阅读，发现spark-streaming-kafka_2.10使用了Kafka 0.8.2.1API，它不支持
浏览 4提问于2016-10-25得票数 1
回答已采纳
2回答
由于内存不足，我的KAFKA应用程序陷入了错误状态。state store to StreamBuilderEclipse内存分析器说：
由‘org.apache.kafka.streams.state.internals.InMemoryTimeOrderedKeyValueBuffer
浏览 11提问于2022-01-10得票数 0
1回答
| connect-sink-redshift': (org.apache.kafka.clients.consumer.internals.AbstractCoordinator$HeartbeatThread:51)[2018-04-04 17:16:17,940] INFO Kafka Connect stopping(org.apache.kafka.connect.runtime.Connect:65)
[2018-04-04 17
浏览 1提问于2018-04-04得票数 2
我正在使用星火结构流(2.3.0)与Kafka (1.0.0)。val event_stream: DataStreamReader = spark .format(_source)WARN Attempting to send response via channel)
我还看到代理上的堆消耗稳步增加
浏览 1提问于2018-08-22得票数 1
回答已采纳
1回答
我有一个用例，我想使用Apache Beam和Spark runner以批处理模式从Kafka读取数据。我在每个分区中都有大量数据，在批处理模式下读取这些数据时，我得到了OOM错误。我试着增加执行器的内存。但对于每次运行，我不能将此参数配置为所需的值。另一件事是，我能够以流模式读取相同的数据。这可能是因为OOM问题。 如果这是原因，那么我如何在ProcessContext中将GlobalWindow更改为PartitioningWindow？如果这不是原因，那么我如何在不增加每次运行的执行器内存的情况下，使用Apache光束以批处理模式从<
浏览 17提问于2019-12-11得票数 0
我的Flink工作经常与一个或另一个任务管理器进行OOM。我有足够的内存和存储空间来完成我的工作(2个JobManager/16 TaskManagers -每个都有15核和63 16内存)。有时作业在抛出OOM前4天运行，有时作业在2天内进入OOM。但与前几天相比，交通状况是一致的。Kafka source
deserialize (converted bytes to java object, the ob
浏览 3提问于2021-04-25得票数 1
1回答
目前，我正试图从pipeline_kafka扩展中编译，以便将其添加到管道实例中，但我遇到了一个我和谷歌似乎都无法解决的问题。当我执行make命令时，会得到以下错误
stc@vm：~/管线_kafka$使gcc -Wall -WL.19-原型-W指针-arith-W观-后语句-Wendif标签-W-格式-属性-安全-fno-fwrapv -fno-过度精度=标准-g -g -O2 -fstack-保护-强-Wformat -Werror=格式安全-I /usr/包括/mit krb5 5 -fpic -pie -DL
浏览 3提问于2016-05-12得票数 0
回答已采纳
1回答
正如我在监控系统中看到的那样，我要求在启动之后，Kafka broker线性化会增加使用的JVM堆。在某种程度上，我们得到了OutOfMemoryError。
浏览 2提问于2018-01-18得票数 1
Kafka连接进程的总堆大小为24 of (只有一个节点)
所有的后期数据都将在连接器打开时的YYYY/MM/dd/HH/
浏览 1提问于2018-06-21得票数 21
回答已采纳
应用程序运行在总共9台服务器上，每台服务器都有足够的内存(64 GB)和磁盘空间(500 GB )，并且还显式地为仅为聚合服务分配21 GB内存，尽管它会因OOM问题而崩溃。应用在生产前几天推出，经常观察OOM问题。2)一旦节点获得OOM并重新启动我正在使用KafkaStreaming2.1.1版本，并发现了一个在kafka流中注册的bu
浏览 1提问于2020-01-19得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
