在同一JVM中运行kafka消费者和生产者时，生产者速度较慢
在同一JVM中运行Kafka消费者和生产者时，生产者速度较慢可能是由以下原因导致的：
- 硬件资源限制：如果JVM所在的机器资源有限，如CPU、内存等，可能会影响生产者的性能。可以考虑增加硬件资源或者将生产者和消费者部署在不同的机器上，以提高性能。
- 网络延迟：如果生产者和消费者之间的网络延迟较高，会导致生产者发送消息的速度变慢。可以通过优化网络配置、增加带宽或者将生产者和消费者部署在同一局域网内，以减少网络延迟。
- 生产者配置不合理：生产者的配置参数可能没有调整到最优，可以根据实际情况调整生产者的配置，如批量发送消息的大小、发送消息的超时时间等。
- 消费者处理速度较慢：如果消费者的处理速度较慢，导致消费者无法及时消费消息，从而影响了生产者的速度。可以优化消费者的处理逻辑，提高消费者的处理速度。
- Kafka集群负载不均衡：如果Kafka集群中的分区分布不均衡，可能会导致某些分区的生产者速度较慢。可以通过重新分配分区或者增加Kafka集群的节点数来解决负载不均衡的问题。
对于以上问题，腾讯云提供了一系列的解决方案和产品，如云服务器、云网络、消息队列CMQ等，可以根据实际需求选择适合的产品来解决问题。具体产品介绍和相关链接如下：
- 云服务器（ECS）：提供高性能、可扩展的云服务器，可根据实际需求选择不同规格的服务器来提升硬件资源。 产品介绍链接：https://cloud.tencent.com/product/cvm
- 云消息队列CMQ：提供高可靠、高可用的消息队列服务，可用于解耦生产者和消费者，提高消息传递的效率。 产品介绍链接：https://cloud.tencent.com/product/cmq
- 云负载均衡（CLB）：提供流量分发和负载均衡的服务，可用于解决Kafka集群负载不均衡的问题。 产品介绍链接：https://cloud.tencent.com/product/clb
- 云数据库（CDB）：提供高性能、可扩展的云数据库服务，可用于存储和管理Kafka的消息数据。 产品介绍链接：https://cloud.tencent.com/product/cdb
请注意，以上产品仅为示例，具体选择和配置应根据实际需求和情况进行。
相关·内容
这个问题和下面的问题差不多：。公认的答案是使用卡夫卡0.8.1或更高版本，我这样做了。
如果所有的使用者实例都有相同的使用者组，那么这就像传统的队列平衡负载在使用者身上一样。
但我无法用Kafka 0.8.2.1和观察到这种行为。
我的设置：
Kafka +在容器中运行的动物园管理员(通过boot2docker)
一位制片人
两个具有相同group.id的消费者
首先，在运行Kafka容器时，我创建了一个主题：
$KAFKA_HOME/bin/kafka-topics.sh --create --zookeeper localhost:2181 --replica
浏览 1提问于2015-09-25得票数 0
1回答
我有一个发布到Kafka服务器的流A和一个从Kafka服务消费的流B，处理然后发布到多个Kafka主题。流A的生成速率约为50毫秒(包括发布到kafka )，流B的处理和生成速率为500毫秒(因此，速度要慢10倍)。由于这一点，即使一些记录现在由流A发布，当处于高负载(例如，一次处理50k条记录)时，流B有时需要长达5分钟的时间来处理，这不是一种替代方案，而且几乎不可接受。我的问题是:通常情况下，这种情况下的最佳实践是什么，以及处理这种情况的快速方法是什么？这些流是同一个应用程序的一部分。我知道也许我只是给出了一个大局，但我正在寻找一个起点，任何想法都是受欢迎的。
浏览 27提问于2021-03-20得票数 0
我是第一次使用Kafka Connect。
场景:我们希望在Kafka中导出存储在多个主题(好的数字> 400)中的数据，并将这些数据转储到Elastic Search Indexes中。我们公司的Kafka是融合的Kafka，它是Kerberized的。我能够通过Kafka API编写生产者和消费者，因为我们知道代理和密钥表文件。
建议使用Kafka-Connect，但由于它是多租户集群，Ops团队可能无法提供直接访问，甚至无法运行插件安装命令。我们有自己的托管虚拟机，可以在其中部署应用程序实例。
Ques -有没有可能通过在我们的VM上安装连接器插件而不是在Confluent Kaf
浏览 5提问于2020-06-18得票数 0
对于集群中的所有节点，运行相同的生产者代码和使用者代码有什么坏处吗？如果集群中有8个节点(8个消费者、8个kafka代理和8个生产者)，那么集群中会有8个生产者同时运行吗？是否有一种方法可以修改集群，使每次只运行一个生产者？
浏览 0提问于2019-01-08得票数 0
回答已采纳
我有两台机器localhost和192.168.1.110来运行两台独立的单机kafka。
(1)在localhost上，我运行：
主控台kafka_2.11-0.10.0.0bin/kafka-➜-Producer.sh --broker-list 192.168.1.110:9092 --topic test这是一条消息2016-08-24 18:15:27,441向topic test发送消息时出错: null，value: 2字节错误:包含1条记录的(org.apache.kafka.clients.producer.internals.ErrorLoggingCallback) or
浏览 13提问于2016-08-24得票数 0
当我们运行kafka-reassign-partition工具来平衡代理之间的分区时。我们必须阻止生产者和消费者从kafka topic中写入和读取数据吗？
浏览 0提问于2018-03-27得票数 0
1回答
我正在创建一个向kafka-rest-proxy发送大量数据的服务。我只是发送数据(生产)给卡夫卡。我发现kafka-rest-proxy很容易被淹没并耗尽java堆空间。我已经分配了额外的资源，甚至横向扩展了运行kafka-rest-proxy的主机数量，但我仍然遇到连接中断和内存问题。 我不熟悉kafka-rest-proxy的内部结构，但我的直觉是它会缓冲记录并将它们异步发送给Kafka。如果是这样，那么它有什么机制来控制背压呢？有没有办法对它进行配置，让它同步地将记录写入Kafka？
浏览 31提问于2021-01-13得票数 1
我在scala中有一个小应用程序，它创建了kafka生产者，并与Apache一起运行。当我运行命令时
spark-submit --master local[2] --deploy-mode client <into the jar file> <app Name> <kafka broker> <kafka in queue> <kafka out queue> <interval>
我收到警告:警告javax.management.InstanceAlreadyExistsException: AppInfoParse
浏览 2提问于2016-06-29得票数 5
卡夫卡中的demo.incoming话题堆积如山。
我正在使用。每秒大约有70个请求通过Scrapy Cluster REST api (Producer)提交给Kafka。蜘蛛可以非常快地完成爬行，因为redis中的队列保持在一个非常低的数字，大多数时间少于10个。但demo.incoming中的消息数量每秒都在堆积。这是我用来查看Kafka中demo.incoming主题消息数的命令
kafka-run-class.sh kafka.tools.GetOffsetShell \
--broker-list localhost:9092,kafka-statefulset-2:9092,ka
浏览 1提问于2019-07-07得票数 1
1回答
我们一直在尝试修复不想使用数据的消费者。它每4秒轮询一次，通常只收到大约100条记录。最大拉力约为18000。然后，它将原始字节写入文件。都是快速操作。
但是消费者组呼叫显示如下
[xyz@AZ254PP01 kafka]$ bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --new-consumer --group postproc-red2
GROUP, TOPIC, PARTITION, CURRENT OFFSET, LOG END OFFSET, LAG, OWNER
postproc
浏览 0提问于2016-04-11得票数 0
我是Spring集成的新手；如果我没理解错的话，spring集成有3个关键角色；
1个出版商
2个订阅者
3通道。
我能理解使用DB/文件系统作为队列的发布者和订阅者框架。spring集成队列驻留在哪里？如果发布者和订阅者本身是单独进程，它们如何共享通道？通道是否可供发布者进程和订阅者进程访问，因为它们运行在相同的JVM中？
这是否意味着，如果publisher运行在一台机器上，而subscriber运行在另一台机器上，我们就不能使用Spring集成吗？
浏览 0提问于2017-03-10得票数 1
假设我们有一个Kafka Sink连接器从主题TopicA中填充一个数据库，
卡夫卡流应用程序推动了对TopicA主题的更新。
我想知道是否：
由Sink连接器更新到数据库中的数据，以及执行更新的
受Kafka流应用程序提交间隔的影响，如果是，如何影响？
浏览 4提问于2020-04-25得票数 0
回答已采纳
1回答
我有一个卡夫卡生产集群，有5个节点和大约500个主题。我需要扩展我的集群以添加2个新节点，而且由于Kafka不提供自动数据重新分区，所以我希望运行随Kafka发行版一起附带的kafka-reassign-partitions.sh，以重新平衡集群中全部7个节点中的所有主题。
由于集群中已经有大量的生产数据，
运行此脚本会阻止对我的Kafka主题的任何并发写入吗？
运行这个脚本会减慢集群/生产者/消费者的速度吗？
如果我的集群在这个脚本的执行过程中开始出错，我如何在这个脚本进行过程中停止这个脚本？
我目前正在使用卡夫卡v0.8.2.0与多个生产者和多个消费者。
浏览 1提问于2016-09-12得票数 6
回答已采纳
我是卡夫卡的新手。我正在设计和开发一个Kafka解决方案来读取Oracle表(Kafka Connect或CDC在我的组织中还不是一个选项)，并将这些大量的记录发送给Kafka Brokers，最终将被消费者收集并发送到目标系统。我的卡夫卡生产者和消费者代码能在同一个Spring应用中吗？还是我需要让我的AppName-生产者和AppName-消费者作为两个单独的Spring应用程序，以便它们可以单独地进行缩放？
比方说，我需要有3个生产者+3个消费者(作为一个消费者群体的一部分)，所以这是否意味着我需要部署同一个应用程序的6个实例？还是3个生产者应用程序和3个消费者应用程序作为单独的应用程序
浏览 3提问于2022-05-08得票数 1
我正在使用Datadog从运行在我的本地主机上的Kafka收集指标。当我在我的Datadog代理上运行-info命令时，这是我为Kafka得到的错误。你知道这是什么原因吗？
kafka
-----
- instance #kafka-localhost-9999 [ERROR]: 'Cannot connect to instance localhost:9999 java.io.IOException: Failed to retrieve RMIServer stub: javax.naming.ServiceUnavailableException [Root
浏览 33提问于2016-08-27得票数 0
假设我有通过Kafka主题输入的数据，并将输出数据发送给Kafka主题，那么在什么情况下Flink能够比Kafka流更快地处理数据？至少说到花在消费和生产上的时间，我不会期望Flink比Kafka流更快。
浏览 3提问于2022-08-09得票数 0
我对卡夫卡很陌生。我有以下架构：
1) 2 servers runing application logics and database, can I write kafka producer on these servers wrapped with docker container ?
2) 1 server reserved for kafka broker and zookeeper
3) 1 sever reserved for kafka comsumer
我很困惑
1) whether I can run kafka producer, broker and consumer
浏览 6提问于2015-11-02得票数 0
回答已采纳
我已经创建了一个包含3个节点的集群(google cloud)。Zookeeper在所有节点上运行，我已经在其中一个节点上启动了Kafka。我可以从集群上的任何机器进行通信(发布/使用)，但是当我尝试从远程机器进行连接时，我得到了一个NoBrokersAvailable异常。
我已经在防火墙中打开了端口进行测试，并且我尝试在Kafka配置中修改advertised_host和端口，但是我无法连接。
预期的配置是什么？-我本以为我的配置在内部和远程情况下都可以工作，但事实并非如此。我不确定zookeeper/kafka的哪一部分配置会允许我对此进行调整。那该怎么办呢？
浏览 2提问于2016-03-27得票数 0
2回答
在Kafka中创建使用者组时，是否会创建一个在同一JVM进程上运行的工作进程池，或者一个使用者组是否可以跨越多台计算机/节点？
如果它跨越多台计算机，那么跟踪偏移量等将很困难。
浏览 0提问于2020-12-10得票数 3
我有一个使用Spring Cloud Stream编写的Kafka消费者，它连接到部署在Amazon MSK集群上的Kafka，并使用秘密管理器进行定期密码轮换。 问题： 我是否需要在每次密码轮换时重新实例化应用程序？如果是，有没有使用Spring Cloud Stream的标准方法？ 当前的解决方案:我们已经实现了一个基于Spring执行器的健康检查。在活页夹连接失败的情况下，我们重新启动ECS。 当前的解决方案非常不稳定，因为我们仍然会遇到SASLAuthentication异常，运行状况检查没有捕获到该异常，也没有重新实例化应用程序 请给我建议一条出路。
浏览 67提问于2021-11-08得票数 0
我想知道以原子方式处理kafka主题消息的推荐方式，例如，假设kafka producer正在使用key k1、k2、k3发布多个消息，现在我想自动处理它们，并让我的应用程序一起了解这些消息。可能会有一些工作来实现这一点，例如，传递id和count以及需要一起处理的所有消息，以便客户端等待，直到它接收到同一组中的所有消息。有没有其他推荐的方法来解决kafka的这些问题，也就是自动处理一批消息的能力，这样就可以跨键保持一致性。kafka消费者提供这样的能力吗？
浏览 1提问于2020-07-09得票数 1
1回答
我们计划让生产者(Java rest api)和消费者(Java客户端)在多台机器上运行，并且所有消费者属于同一消费者组。
1)在这种情况下，如果我在生产者发布Kafka写入随机/默认分区的消息时没有指定分区...
2)当消费者检索消息时，如果我没有提到分区，我会传递主题名称..and提交偏移量给Kafka服务器。
如果我只有一个消费群体，这是一个好方法吗？
3)我是否需要Kafka rest代理，据我所知这不是必需的，因为我正在使用Java client ..please如果我错了...please请纠正我，让我知道如果我必须在这里使用Kafka rest代理我将获得什么好处...
浏览 11提问于2016-02-24得票数 2
我在端口8081上的kafka代理上启用了JMX。当我在jConsole中查看MBean属性时，我只看到kafka.consumer的以下内容-
kafka.consumer:type=FetchRequestAndResponseMetrics,name=FetchRequestRateAndTimeMs,clientId=ReplicaFetcherThread-2-413
kafka.consumer:type=FetchRequestAndResponseMetrics,name=FetchResponseSize,clientId=ReplicaFetcherThread-0-41
浏览 3提问于2016-06-14得票数 1
我正在尝试使用我的minikube集群中的kafka控制台生产者和消费者。
以下是我的服务：
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
java-api NodePort 10.108.162.108 <none> 8080:30141/TCP 8d
kafka-service NodePort 10.104.71.239 <none> 29092:32676/TCP 66m
浏览 0提问于2020-09-29得票数 0
我使用SpringBoot1.5.6 Kerberos 来使用Kerberos身份验证连接到Kafka 0.11。这些是我为Kafka使用的依赖关系：
<dependency>
<groupId>org.springframework.integration</groupId>
<artifactId>spring-integration-kafka</artifactId>
<version>3.0.0.RELEASE</ver
浏览 4提问于2019-02-20得票数 3
回答已采纳
我有一个独立的Kafka设置与单盘。计划流式传输超过百万条记录。如何为我的主题确定分区以获得更好的吞吐量？必须是1个分区？
在独立Kafka服务器上，是否建议一个主题有多个分区？
浏览 2提问于2021-03-30得票数 0
我让卡夫卡和动物园管理员在一些当地的码头集装箱里运行。
我有一个node.js代码库，它使用节点rdkafka作为消费者连接到kafka。我们将把这个代码基称为“消费者”
使用者使用这里显示的代码连接到kafka：
当试图连接到现有的Kafka实例时，我得到以下输出：
consumer ready.{"name":"rdkafka#consumer-1"}
但是，我接收和处理消息的代码从来不触发，或者在它开始运行之前需要几分钟(有时很明显是5到10分钟)。
为了确保消息被生成，我使用卡夫卡附带的脚本kafka-console-consumer.sh来观察消息流。
浏览 14提问于2017-04-27得票数 5
2回答
我正在编写多线程socket服务器。我使用nio的ServerSocketChannel接受连接。然后，我使用bufferedreader和打印写入器(在单独的线程中)对socketChannel进行读写。问题是PrintWriter锁定并等待flush()命令。它会阻塞线程，直到BufferedReader接收到数据。
浏览 0提问于2011-02-21得票数 3
回答已采纳
我使用的是1.5.4 spring boot，java 8和kafka 2.2.0版本。我有5个代理和4个不同的主题，每50个分区。
我有一个这样的系统：
我有两三百万张唱片。我出口这些记录的2500,2500部分上的每个卡夫卡消息。我的意思是1条kafka消息由2500条记录组成，但我使用的是相同的键，这意味着所有这些记录都会进入相同的分区。我使用紧凑的主题，也有2-3百万的记录，我使用ktable - kstream连接和收集另一条记录。(此记录具有不同的键，如Id，以便重新分区)在此连接操作之后，我返回到我的原始键进行重新分区。我的kafka streams代码监听这个主题，并执行重新分
浏览 0提问于2019-11-14得票数 0
1回答
我是Flink和Kafka的新手，有一些用Scala编写的数据聚合作业，这些作业在Apache Flink中运行，这些作业消耗Kafka中的数据，执行聚合并将结果返回给Kafka。 我需要的作业，以消耗任何新的Kafka主题的数据，而作业正在运行，这是匹配的模式。我通过为我的消费者设置以下属性来实现这一点 val properties = new Properties()
properties.setProperty(“bootstrap.servers”, “my-kafka-server”)
properties.setProperty(“group.id”, “my-group-id”
浏览 10提问于2021-05-06得票数 1
我对Kafka和kubernetes的世界非常陌生，并试图在它上面做一个项目。我的要求可能听起来很愚蠢，但它有点像这样： Kafka生产者和kafka消费者仅部署在本地Minikube集群中。Kafka代理是一个中央代理，不存在于minikube集群中。我搜索了谷歌，知道如何连接Minikube和Kafka集群。但是我不知道如何从生产者(部署在kubernetes中)发送消息到这个外部Kafka集群，以及如何消费它，因为消费者也在Minikube中。有人能在这方面帮我一下吗？ 编辑： 下面是我对应的K8s配置。 apiVersion: apps/v1
kind: Deployment
met
浏览 28提问于2021-09-10得票数 0
在使用Spark Structured Streaming和Kinesis Streams时，我在重新处理流中积累的数据时遇到了读取不平衡的情况(而不是从最新数据读取)。
下图显示了作为流的一部分的运动碎片的读取速度的差异。
这使得spark作业丢弃了许多事件，因为事件时间非常不同的事件会被混淆，而那些被认为是旧的事件会被丢弃。
最近，一位团队成员建议改用Kafka。我对Apache Kafka解决这个问题持怀疑态度，因为AFAIK修复我上面描述的读取不平衡的唯一方法是在消费者级别引入某种协调。这就是Apache Flink的kinesis连接器在重新处理Kinesis stream
浏览 1提问于2021-07-04得票数 1
假设有一个单独的Kafka主题，并且只有一个分区配置了无限保留策略。假设有两个消费者，Fast和Slow。
Fast使用者在消息出现时对其进行处理，几乎没有延迟。
Slow消费者往往具有明显的滞后，例如两天的消息。Slow有时会赶上Fast，但这种情况很少发生，通常会有明显的滞后。
这种设置，在同一分区中有两种不同的消费者速度，会对Kafka代理造成负面影响吗？从磁盘为Slow使用者检索较旧的邮件是否会增加I/O成本？
浏览 2提问于2019-12-02得票数 1
回答已采纳
2回答
Kafka分区延迟增加
、、、
我有一个使用Kafka 1.0作为队列的应用程序。Kafka主题有80个分区和80个消费者在运行。(Kafka-python消费者)。
通过运行以下命令：
./bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group mygroup --describe
我看到其中一个分区卡在偏移量上，随着新记录的添加，延迟不断增加。
上述命令的输出如下所示：
TOPIC PARTITION CURRENT-OFFSET LOG-END-OFFSET LAG
浏览 0提问于2017-11-15得票数 2
2回答
我在Spring应用程序中配置了一个kafka监听器，如下所示：
@KafkaListener(topicPartitions = @TopicPartition(topic = 'data.all', partitions = { "0", "1", "2" }), groupId = "kms")
public void listen(ObjectNode message) throws JsonProcessingException {
// Code to convert to json strin
浏览 1提问于2019-06-11得票数 1
回答已采纳
我正在尝试在不同的机器上设置多节点Kafka-0.8.2.2集群，包括一个生产者、一个消费者和三个代理。
在producer上创建主题时，我得到的错误是org.apache.zookeeper.KeeperException$NoNodeException: KeeperErrorCode = NoNode for /brokers/ids。完整的控制台输出可用。Kafka Producer的日志中没有错误。
我用来运行Kafka的命令是：
./bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-facto
浏览 7提问于2016-03-02得票数 1
回答已采纳
我希望在这里得到一些关于kafka连接配置属性的澄清，
我们在连接到我们的confluent connect集群到我们的kafka connect实例时遇到了问题。据我所知，我们所有的设置都配置正确，但没有任何运气。
经过大量的谷歌搜索，一些人发现在配置属性前加上“consumer”前缀。似乎解决了这个问题。这里提到了这个前缀
我很难理解如何理解前缀，以及connect如何提取和使用属性。我假设kafka connect使用的java api客户端将从属性文件中提取连接属性。它可能有一些硬编码的配置属性，可以通过在属性文件中指定值来覆盖这些属性。但是，这不是正确的吗？上面链接的文档提到了All
浏览 0提问于2019-09-04得票数 0
使用spring- Dalston.SR4运行spring引导的Dalston.SR4程序。我通过云流进行了研究，特别是关于kafka绑定器的使用，但在一些配置方面还不清楚：
当我们从卡夫卡经纪人那里消费时，我们真的需要设置spring.cloud.stream.{instanceCount,instanceIndex}吗？考虑到设置了spring.cloud.stream.bindings.<channel>.group，我不明白为什么需要这样做。还是说只有在cloud.stream.kafka.bindings.<channel>.autoRebalanceEn
浏览 2提问于2017-10-13得票数 0
回答已采纳
1回答
我有两个kafka集群，版本分别是0.8.2.1和0.10.1。
我想从0.8.2.1消费一些事件，并向0.10.1产生其他事件。我一直在阅读关于向后兼容性的文章，并了解到客户端是向前兼容的。我找不到任何关于0.8.2.1产品到未来版本的参考。是否可以使用单个客户端并同时与两个群集进行通信。
有没有办法在同一个java代码中同时使用这两个客户端。我使用maven作为我的构建工具。
浏览 12提问于2017-03-14得票数 1
我对Apache Kafka非常陌生。我在C#.NET /Windows platform上工作。我能够使用Kafka的配置设置，并使用命令提示符发送和接收消息。
我使用运行了c#程序，并且能够生成和接收消息。Qn1:我正在尝试读取一个json文件，根据json文件中的行数，有没有办法从C#中动态改变json值的值？
谢谢先生
浏览 1提问于2019-01-16得票数 0
1回答
我在事务API中找不到答案。我认为在引擎盖下看设计可能是不可能的，但我想确认一下:如果消费者和生产者连接到不同的Kafka集群，那么有可能进行Kafka交易吗？这意味着我正在消费的主题和我正在推送的主题是在两个独立的Kafka集群上。
浏览 20提问于2019-04-26得票数 2
回答已采纳
从kafka，rabbit，hornet mq，activemq等系统的消息传递角度来看……pub/sub和prod/con之间有区别吗?还是可以互换使用？
浏览 100提问于2017-02-27得票数 32
回答已采纳
我正在使用spring chained transection设置kafka横截面管理器，并且我必须在Spring Kafka (Spring Boot版本1.5.18和spring Kafka版本1.3.8)中设置isolation.level = read_committed作为消费者属性，但无法找到任何方法来设置它。
浏览 92提问于2019-05-04得票数 0
回答已采纳
1回答
我安装了一个带有3个代理的Cloudera CDP集群。我使用Prometheus JMX exporter导出指标。但是，我不能在Prometheus中使用生产者和消费者指标。这些客户端指标必须由生产者和消费者导出吗？
Kafka broker的指标可用。有什么遗漏的东西吗?或者有什么东西可以给我指出正确的方向吗？
我的Kafka导出器YAML看起来像这样：
#https://github.com/prometheus/jmx_exporter/blob/master/example_configs/kafka-2_0_0.yml
lowercaseOutputName: true
rul
浏览 12提问于2021-09-02得票数 0
我正在使用kafka-node和cofluent kafka，它在docker中运行。你知道这个错误是什么意思吗?这与kafka节点库有关吗？
浏览 5提问于2019-11-07得票数 1
5回答
这个问题与Java的最新版本有关。
30个生产者线程将字符串推送到抽象队列。一个写入线程从同一个队列弹出，并将字符串写入驻留在5400 rpm HDD RAID数组上的文件。数据以大约111 MBps的速度推送，弹出/写入速率约为80 MBps。该程序运行5600秒，足以使176 GB的数据在队列中积累。另一方面，我被限制在总共64 of的主存上。
我的问题是:我应该使用什么样的队列？
到目前为止我已经尝试过了。
1) ArrayBlockingQueue。这个有界队列的问题是，无论数组的初始大小如何，一旦它填满，我总是会出现活性问题。实际上，在程序启动几秒钟后，top只报告一个活动线程。分析
浏览 5提问于2013-10-05得票数 3
回答已采纳
我们在两个数据中心有两个独立的kafka集群，并配置了Mirrormaker来复制一组主题。每个数据中心使用kafka和mirrormaker运行3个节点。此安装程序运行正常。
为了实现更高的安全性，我们需要SASL_PLAINTEXT或更好的SASL_SSL。
我在所有三个节点上的一个数据中心配置了SASL_PLAINTEXT：
在/etc/sysconfig/kafka中添加：
Djava.security.auth.login.config=/etc/kafka/kafka_server.jaas"
创建/etc/kafka/kafka_server.jaas：
KafkaSer
浏览 3提问于2018-11-12得票数 2
1回答
研究表明，与redis相比，当Kafka和redis都充当消息代理时，Kafka在每秒的msgs数和每秒传输的mbs数方面都有更好的吞吐量。
最近一项名为“实时流处理管道中数据摄取平台的比较”的研究表明，对于1kB的有效负载，kafka可以处理的请求量是redis的3倍。
到底是什么让Kafka作为消息代理比redis更强大/更快呢？
浏览 8提问于2021-10-14得票数 0
我有一个经典的微服务架构。因此，有不同的应用程序。每个应用程序都可以有1..N实例。系统被部署到Kubernetes.，因此，我们有许多不同的PODs，它可以在任何时间启动和停止。
我想实现模式，所以我需要Kafka事务。
要配置事务，我需要为每个Kafka生产者设置一些transaction id。(实际上，我需要transaction-id-prefix，因为我在我的应用程序中使用Spring，而Spring有这样的API)。在应用程序重新启动后，这些IDs必须相同。
那么，如何为Kubernetes中托管的几个应用程序选择Kafka事务id呢？
浏览 8提问于2019-07-24得票数 2
回答已采纳
我试图让多个java进程使用Esper交换事件。一个进程应该发送事件，另一个进程应该准备查询并根据报告的事件进行响应。
当两个操作都在同一个java进程内完成时，一切都正常。但是当我使用两个不同的进程时，--它们只是看不到对方--。我想知道这种交流的关键是什么。我对提供者使用了相同的名称。到目前为止，我只能做到这一点。
制片人：
String aType = espertest.dummy.A.class.getName();
Configuration cepConfig = new Configuration();
cepConfig.addEventType("A",aT
浏览 1提问于2014-05-25得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
