1回答
我一直在尝试对Kafka consumer中的失败记录执行指数重试。在4次重试后，消费者需要关闭。重试应在1分钟后重试，然后在5分钟后重试，然后在15分钟后重试，然后在30分钟后重试。在所有这些尝试之后，如果重试不成功，那么我需要关闭使用者。为了实现它，我做了以下工作。但在5分钟后(max.poll.interval)，cons
浏览 3提问于2021-05-07得票数 0
我有一个非常奇怪的问题，我在Scala中实现了一个Kafka生产者客户端，当Kafka集群启动时，一切都正常工作。也就是说，生产者将数据正确推送到Kafka中。然而，如果我设置我的生产者是‘异步’，Kafka生产者客户端将正确地放置数据，如果集群启动和工作，但生产者也推送数据into...the无效...如果集群关闭了！也就是说，如果集群宕机，Kafka生产者不会返回错误。
这对我
浏览 2提问于2014-10-29得票数 0
我目前正在实现节点红色上的流，其中MQTT用户节点向kafka生产者节点(即节点红色上的输出节点)发送数据。如果Kafka生产者节点无法在远程Kafka情况下发送数据，那么从MQTT用户节点推送到Kafka生产者节点的数据会发生什么变化。
我承受不起一个单一的数据集。
浏览 3提问于2016-02-03得票数 1
回答已采纳
1回答
我已经尝试将引导属性设置为：获取错误:在身份验证期间终止到节点-1 (/xx.xx:9092)的连接。这可能是由于以下任何原因造成的：(1)身份验证失败是由于代理的凭据无效，代理的年龄超过1.0.0；(2)防火墙阻塞Kafka TLS通信量(例如，它可能只允许HTTPS通信)；(3)瞬态网络问题。spring.kafka.properties.security.protocol=SASL_SSL
引发的抛出: java.lang.Ille
浏览 2提问于2020-03-02得票数 1
我们有一个Spark流媒体应用程序使用DSE和Kafka构建。集群规格:3个analytics，2个cassandra，1个Kafka节点。都是ec2实例。对于流媒体，我们使用Spark streaming和Kafka。错误2017-03-20 06:13:54,690 com.datastax.driver.core.ControlConnection:控制连接无法连接到任何主机，计划在60000毫秒后重试
如何解决此问题
浏览 6提问于2017-03-20得票数 1
1回答
我有一个由GKE托管的Kafka集群。谷歌每周更新GKE节点，每当这种情况发生时，Kafka就会暂时不可用，这会导致巨大的错误/再平衡，使其备份到正常状态。目前，我们依赖于K8重试，以最终成功，一旦升级完成，集群变得可用。有没有办法优雅地处理卡夫卡的这种情况，或者在可能的情况下避免这种情况？
浏览 8提问于2022-10-05得票数 0
然而，在"WikipediaFeed“对象中，我试图从另一个Kafka代理获取数据，而不是从启动Hello-Samza网格时运行的Kafka代理获取数据。我是否必须在"WikipediaFeed“对象中创建一个线程安全的Kafka消费者来使用来自不同Kafka集群的数据，还是有其他我看不到的方式？谢谢
浏览 6提问于2017-09-22得票数 0
我在试着找到启动代理的代码？props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, IKafkaConstants.KAFKA_BROKERS
浏览 3提问于2018-08-03得票数 2
我安装合流，它有自己的卡夫卡。我必须更改哪个.properties or whatelse文件以使其看起来不同。
浏览 0提问于2020-04-15得票数 0
回答已采纳
我想使用Apache Spark Structured Streaming和Kafka，Spark Structured Streaming支持Kafka 0.10及更高版本，我的Kafka集群使用kafka我想将当前kafka 0.8.2.1集群中的一些主题复制到基于2.2.0的新Kafka集群中。为此，我尝试在Kafka 2.2.0集群上使用
浏览 17提问于2019-05-23得票数 1
1回答
我正在通过SSL移动我们所有的Kafka流量。我们在每个区域都有两个集群。除了一个集群之外，所有区域和所有集群都可以在SSL上正常工作。在其他工具中，我使用kafkacat来探测集群。当通过明文连接对这个集群执行kafkacat -L时，它会列出所有代理、主题和分区，并显示每个分区的领导者：
# kafkacat -b kafka-cluster1-kafk
浏览 4提问于2021-08-09得票数 1
1回答
我们在两个独立的DC中运行两个Kafka集群。我们的整体传入流量是在这两个区议会之间分配的。我读过一条卡夫卡流是不可能的。有什么方法可以用另一个卡夫卡流从DC1读取并写入DC2卡夫卡集群吗？
浏览 1提问于2019-11-15得票数 0
回答已采纳
我是第一次使用Kafka Connect。
场景:我们希望在Kafka中导出存储在多个主题(好的数字> 400)中的数据，并将这些数据转储到Elastic Search Indexes中。建议使用Kafka-Connect，但由于它是多租户集群，Ops团队可能无法提供直接访问，甚至无法运行插件安装命令。我们有自己的托管虚拟机，可以在其中部署应用程序实例。Ques -有没有可能通过在我们的VM上安装连接器插件而不是在</e
浏览 5提问于2020-06-18得票数 0
我得到以下错误：
(编辑)实际错误是: java.lang.NoSuchMethodError: java.lang.NoSuch
浏览 3提问于2016-02-26得票数 4
回答已采纳
制片人：消费者：以上不工作的Cloudera版本，但工作在我的独立卡夫卡安装。这适用于Cloudera：
/usr/bin&#x
浏览 2提问于2017-12-06得票数 2
2回答
我试过了Quickstart教程，但是没有关于如何设置多服务器集群的说明。我的脚步1)bin/zookeeper-server-start.sh config/zookeeper.properties3)bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor当我运行1A)使用者
浏览 6提问于2017-04-03得票数 1
据我所知，处理Kafka流的状态在内存、磁盘或Kafka主题中都是本地的，因为所有的输入数据都来自一个分区，其中所有的消息都是由一个定义的值键控的。大多数情况下，计算可以在不知道其他处理器的状态的情况下完成。如果是这样的话，您有另一个Streams实例来计算结果。如图所示：Flink到底在哪里存储它的状态？Flink是否也可以在本地存储状态，或者总是将它们发布到所有实例(任务)？是否可以将Flink配置为将状态存储在Kafka代理中？
浏览 0提问于2019-02-10得票数 3
我使用以下配置将我的自定义连接器部署在kafka- connector中并注册： "name" : "rabbitmq-source-connector", "internal.value.converter": "org.apache.kafka.connect.json.JsonConverter"它运行得很好，但是当我们重新启动kafka</
浏览 0提问于2021-10-08得票数 0
回答已采纳
云服务器
ICP备案
云直播
即时通信 IM
实时音视频
腾讯云开发者
