在Kafka主题中看不到数据
可能是由于以下几个原因造成的：
- 数据还未被生产者成功发送到Kafka：生产者发送数据到Kafka时可能出现发送失败的情况，导致数据没有成功写入Kafka主题。这可能是由于网络故障、Kafka集群不可用或配置错误等原因引起的。解决方法是检查生产者的日志和配置，确保正确配置了Kafka集群的地址和主题名称，以及网络连接正常。
- 消费者未正确订阅Kafka主题：消费者需要明确订阅所需的Kafka主题，才能接收到相应的数据。检查消费者的代码，确认是否正确设置了订阅的主题名称。另外，还要确保消费者连接的Kafka集群和主题与生产者一致。
- 消费者消费的偏移量不正确：Kafka通过偏移量来跟踪消费者消费的位置，如果消费者的偏移量设置不正确，可能导致消费者无法读取到数据。可以尝试将消费者的偏移量重置为最早的位置或最新的位置，以确保消费者可以正确消费数据。
- Kafka主题中没有数据：如果在Kafka主题中看不到数据，可能是因为生产者尚未向该主题发送任何数据。可以检查生产者的代码，确认是否正确发送了数据，并确保数据格式和序列化方式与消费者匹配。
- 网络问题或Kafka集群故障：网络问题或Kafka集群故障也可能导致在Kafka主题中看不到数据。可以检查网络连接是否正常，并确保Kafka集群的健康状态。
在解决问题时，可以参考腾讯云的消息队列 CKafka，它是一种高吞吐、可扩展、分布式消息队列服务，为您提供高性能的消息订阅和分发能力。您可以在腾讯云官网上了解更多关于CKafka的信息和产品介绍：https://cloud.tencent.com/product/ckafka
相关·内容
我正在使用一个星火流应用程序(Spark2.1)来使用来自kafka(0.10.1)主题的数据。，我想订阅新主题而不重新启动流上下文。有办法做到这一点吗？
我可以在()中看到jira票据，尽管它在2.0版本中已经关闭，但我找不到任何文档或示例来这样做。如果你们中的任何人对此都很熟悉，请为我提供文档链接或示例。提前谢谢。
浏览 9提问于2017-09-21得票数 1
回答已采纳
我和Kafka一起工作。我下载了动物园管理员，提取并启动了它。然后我下载了Kafka，提取了压缩文件，并启动了Kafka。一切都很顺利。我创建了几个主题，并且能够发送和接收消息。在那之后，我阻止了Kafka和动物园管理员。然后我读到Kafka本身提供了动物园管理员。于是我创办了动物园管理员，这是由Kafka提供的。但是，它的数据目录是不同的，然后我从相同的配置文件和相同的数据目录位置启动了Kafka。然而，在启动Kafka之后，我找不到我创建的主题。
我只想知道，这是否意味着有关主题的元数据是由动物园管理员维护的。我搜索了Kafka文档，但是，我找不到任何细节。
浏览 0提问于2019-08-11得票数 0
回答已采纳
在Kafka(0.11.0.1)流中，一个演示应用程序
// Serializers/deserializers (serde) for String and Long types
final Serde<String> stringSerde = Serdes.String();
final Serde<Long> longSerde = Serdes.Long();
// Construct a `KStream` from the input topic "streams-plaintext-input", where message value
浏览 3提问于2017-09-21得票数 0
我在GKE上使用strimzi操作符0.15版部署了Kafka，并且运行良好。配置如下：
kafka:
version: 2.3.1
replicas: 3
config:
offsets.topic.replication.factor: 3
transaction.state.log.replication.factor: 3
transaction.state.log.min.isr: 2
log.message.format.version: "2.3"
当我对kubernetes集群进行升级时
浏览 2提问于2021-10-13得票数 0
我使用Debezium MySql连接器将数据库更改事件从MySql数据库流式传输到Kafka。我需要将特定的转换应用于某些指定表(而不是其他表)中的记录。有没有一种只使用Kafka Connect单消息转换(没有Kafka Streams或KSQL)的方法？我甚至不介意写一个自定义的SMT。但我找不到如何为消息指定要应用SMT的表/主题。谢谢。 在简短的调查之后，我决定使用KSQL。感谢大家的回答
浏览 10提问于2019-04-11得票数 1
3回答
我正在写日志消息到一个Kafka主题，我希望这个主题的保留是永久的。我在Kafka和Kafka Connect (_schemas，connect-configs，connect-status，connect-offsets等)中看到，有一些特殊的主题不会被日志保留时间删除。我如何强制一个主题像这些其他特殊主题一样？是命名约定还是其他一些属性？
谢谢
浏览 28提问于2016-09-28得票数 18
回答已采纳
我正在试用第4章中的示例KafkaStreams代码，它来自于“Kafka Streams in Action”一书。我几乎复制了github - 中的代码，这是一个使用StateStore的例子。当我按原样运行代码时，没有数据在拓扑中流动。我验证了正在生成模拟数据，因为我可以在输入主题中看到偏移量-- transactions上升。但是，输出主题中没有任何内容，也没有任何输出到控制台。
但是，当我注释第81-88行()时，基本上避免创建“直通()”处理器节点，代码可以工作。我看到数据正在生成到“模式”主题，输出在控制台中生成。
我正在使用Kafka broker和客户端版本2.4。希望得到调
浏览 2提问于2020-02-19得票数 0
回答已采纳
我有一个要求建立聚合的数据，我们收到我们的Apache Kafka… 我有点不知道该走哪条技术路线…… 似乎人们看到的是标准的方式，一群Apache Kafka <-> Apache Spark <-> Solr Bitnami Data Platform 我找不到具体的例子说明这是如何工作的，但我也在问自己，是否有任何解决方案 Apache Kafka <-> Kafka Connect Solr <-> Solr 不会这样做，因为solr也支持聚合... Solr Aggregation 但我看到了一些代码片段，它们将数据聚合在Spark中
浏览 34提问于2021-11-11得票数 0
KStream/TopicNameExtractor javadoc表明，当使用to(TopicNameExctractor extractor)时，主题不会自动创建，而必须已经存在。然而，我在2.2.0中看到了不同的情况。文档不是最新的吗？这可以在>= 2.2.0中依赖吗？ 这里提到的javadoc是：https://kafka.apache.org/22/javadoc/org/apache/kafka/streams/processor/TopicNameExtractor.html 我在这里查看了发行说明，没有看到任何相关的更改：https://www.apache.org/d
浏览 8提问于2019-04-24得票数 1
回答已采纳
我正在尝试删除一个包含8个分区和2个副本的Kafka主题。首先，我使用kafka-topic.sh --delete命令删除该主题。然后我使用了zkCli.sh -server slave1.....slave3和rmr /brokers/TOPIC/MY_TOPIC。
然而，我仍然在/brokers/ topic /中看到了这个主题。我试着重启Kafka，一切照旧。
顺便说一句，可以成功删除1个分区和1个副本的主题。
浏览 22提问于2017-03-16得票数 0
回答已采纳
我的docker-compose.yml中有以下配置
kafka:
image: 'confluentinc/cp-kafka:6.1.0'
hostname: kafka
container_name: kafka
ports:
- '9092:9092'
environment:
KAFKA_BROKER_ID: 1
KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
KAFKA_LISTENER_SECURITY_PROTOCOL_MAP:
浏览 69提问于2021-05-31得票数 0
我正在尝试使用GetKafka处理器获取消息，但我无法获取。我使用Kafka命令行消费者测试了消费消息，它起作用了。我还能够成功地使用PutKafka processor将消息放入主题中。附加了我设置Zookeeper连接字符串和主题名称的设置。当我运行流时，我在处理器中看不到任何错误。
我在nifi-app.log中看到一个异常：
2016-08-03 09:34:33,722 WARN [70e1df87-6097-4ed0-9a40-7e36f9be6921_mydomain.com-1470231250839-1fbd0cfe-leader-finder-thread] kafka.
浏览 1提问于2016-08-03得票数 0
1回答
因此，我有一个Kafka集群，带有SSL的动物园管理员运行。我给了一个用户在Kafka上的一个特定主题的阅读权限:我可以在动物园管理员中看到它。当该用户正在使用数据时，他们将得到一个组授权异常。我是否需要将每个组添加到ACL中？我对这个错误感到困惑。谢谢
浏览 7提问于2022-07-20得票数 0
我试图测试运行一个卡夫卡节点与3个经纪人和动物园管理员。我希望使用控制台工具进行测试。我以这样的方式经营制片人：
kafka-console-producer --broker-list localhost:9092,localhost:9093,localhost:9094 --topic testTopic
然后，我以这样的方式运行消费者：
kafka-console-consumer --zookeeper localhost:2181 --topic testTopic --from-beginning
我可以在生产者中输入信息，并按预期在消费者中看到它们。然而，当我使用引导服务器运行
浏览 2提问于2017-01-21得票数 16
回答已采纳
我试图运行一个管道，使用apache-束，源作为一个卡夫卡主题，目的地作为另一个卡夫卡主题。我已经编写了我的代码，并且运行良好(也就是说，在我认为的代码中没有错误)。但在输出主题中看不到数据--这是代码：
import apache_beam as beam
import apache_beam.transforms.window as window
from apache_beam.options.pipeline_options import PipelineOptions
from apache_beam.io.external.kafka import ReadFromKafka, W
浏览 8提问于2022-06-02得票数 -1
2回答
我们正在尝试将数据从volt db表导出到kafka的POC，下面是我遵循的步骤：-
步骤1：-准备deployment.xml以使输出到kafka
<?xml version="1.0"?>
<deployment>
<cluster hostcount="1" kfactor="0" schema="ddl" />
<httpd enabled="true">
<jsonapi enabled="true" />
</ht
浏览 2提问于2015-02-03得票数 2
回答已采纳
4回答
在我读过的所有Kafka教程中，他们都提到"Kafka分区是不可变的“。但是，我也从这个站点上读到，Kafka会不时地删除分区中的旧消息(取决于您在log- that命令中设置的保留时间)。您可以从下面的屏幕截图中看到，在删除分区中的重复键之后，分区中的数据明显发生了变化：
所以我的问题是，说"Kafka分区是不变的“到底是什么意思？
浏览 8提问于2019-10-03得票数 1
回答已采纳
我可以在config/server.properties中看到一个名为log.dir的属性？这是否意味着kafka使用相同的目录来同时存储日志和数据？
浏览 3提问于2016-11-01得票数 50
回答已采纳
1回答
我已经从那里创建了rest端点，数据即将到来，我将其发送到kafka主题" topic -feedback“。现在我想处理这些数据，并将其发送到另一个kafka主题" topic -goodWord“。现在，来自rest端点的数据正确地到达了主题" topic -feedback“，但在对其进行处理并将其发送到另一个主题" topic -goodWord”之后，数据在"topic-goodWord“中看不到。
程序中没有错误
下面是我的代码：
@Configuration
public class FeedbackStream {
Se
浏览 1提问于2021-06-01得票数 0
1回答
我对kafka非常陌生，我试图将数据写到一个主题中，并从同一个主题中读取数据(我们现在作为一个源团队来摄取数据)。因此，我们在对Kafk主题进行写操作，并从相同的主题中使用)。我在星火壳上编写了下面的代码，以便将数据写入一个Kafka主题。
pyspark --packages io.delta:delta-core_2.11:0.6.1,org.apache.spark:spark-sql-kafka-0-10_2.11:2.4.0,io.strimzi:kafka-oauth-client:0.5.0
from pyspark.sql.functions import col
from
浏览 3提问于2021-09-08得票数 1
回答已采纳
1回答
在我的情况下，我们需要将数据从一个主题转移到另一个主题。我在卡夫卡文档"ReplayLogProducer“中看到了一个实用工具。它应该运行如下所示。
bin/kafka-run-class.sh kafka.tools.ReplayLogProducer
此工具是否要求源主题上的分区与目标分区相同？关于这个新主题，数据的保留是如何工作的？
如果任何人都能在运行这个工具时提供任何关于要遵循的最佳实践的洞察力或要记住的注意事项，那就太好了。
浏览 2提问于2016-02-18得票数 2
回答已采纳
我有一个包含3个节点的kafka集群。当Node #3死掉时，我的_schemas主题停止正常工作，我看到以下内容：
kafka-topics --zookeeper localhost:2181 --topic _schemas --describe
Topic:_schemas PartitionCount:1 ReplicationFactor:2 Configs:cleanup.policy=compact
Topic: _schemas Partition: 0 Leader: -1 Replicas: 3,2 Isr: 2
所以看
浏览 2提问于2018-02-08得票数 12
我正在尝试创建一个Samza作业，尽可能地类似于维基百科的示例作业。然而，在"WikipediaFeed“对象中，我试图从另一个Kafka代理获取数据，而不是从启动Hello-Samza网格时运行的Kafka代理获取数据。
我是否必须在"WikipediaFeed“对象中创建一个线程安全的Kafka消费者来使用来自不同Kafka集群的数据，还是有其他我看不到的方式？
编辑1:这是他们的维基百科例子的链接。
谢谢
浏览 6提问于2017-09-22得票数 0
1回答
我在用阿帕奇卡夫卡。我将巨大的dbs转储到Kafka中，其中每个数据库的表都是一个主题。
在主题完全被消耗之前，我不能删除它。我不能设置基于时间的保留策略，因为我不知道什么时候会使用主题。我的磁盘和数据太多了。我必须以编程的方式编写代码，通过消耗和删除来编排。我理解问题的出现是因为我们使用Kafka进行批处理，但我不能更改技术堆栈。
从代理中删除消耗的主题的正确方法是什么？
目前，我给kafka.admin.AdminUtils#deleteTopic打电话。但我找不到清晰的相关文件。方法签名不包含kafka服务器URL。，这是否意味着我只删除主题的元数据，而代理的磁盘使用率没有减少？那么当真
浏览 1提问于2018-08-14得票数 1
回答已采纳
我最近使用docker image设置了一个cloudera quickstartVM，并在其中设置了Kafka包。安装成功后，我看到所有服务都在绿色状态下运行(包括Kafka和zookeeper)。然而，当我遵循kafka CLI的以下命令时，我看不到消费者收到消息。 任何帮助都非常感谢CDHv 5.13CDK4.0 (kafka 2.1)-通过包裹。 kafka-topics --create quickstart.cloudera:9092 --replication-factor 1 --partitions 1 --topic test3 --zookeeper quickstar
浏览 27提问于2019-05-07得票数 0
我是kafka的新手，我试图通过http发布来自外部应用程序的数据，但我找不到这样做的方法。
我已经在kafka中创建了一个主题，并对其生成和使用消息进行了测试，但我不知道如何通过http插入/发布消息，我尝试调用以下url来检索主题，但它没有检索任何数据
我使用的是cloudera 5.12.1。
浏览 0提问于2017-11-20得票数 2
我想使用Kafka 0.10 API和Java一起创建一个代理集群。据我所知，kafka_2.11-0.10.0.0.jar支持使用以下方法创建代理：
import kafka.cluster.Broker;
import kafka.cluster.Cluster;
但我找不到任何这样做的文件。我最近读到了1，它告诉我如何使用Kafka API在Java中创建一个主题。我们是否可以做类似的事情来创建代理集群、更新分区、将现有数据/分区迁移到新代理(因为这些新代理不会被自动分配给任何数据分区，所以除非分区被移动到它们，否则它们就不会执行任何工作)。
浏览 1提问于2016-08-04得票数 4
我正在创建以下连接器：
CREATE
SOURCE CONNECTOR IF NOT EXISTS `myconn` WITH (
"name" = 'myconn',
"connector.class" = 'MySqlCdcSource',
"tasks.max" = 1,
--Database config--------------------------
"database.hostname" = '${dbHost}',
浏览 6提问于2022-10-26得票数 0
这是Apache Kafka 0.9.0.0的错误吗？我使用下面的命令来列出主题，即使服务器是在创建主题的情况下启动的，我也什么也得不到！
Joes-MacBook-Pro:kafka_2.11-0.9.0.0 joe$ bin/kafka-topics.sh --list --zookeeper localhost:2181
Joes-MacBook-Pro:kafka_2.11-0.9.0.0 joe$
下面是我用来启动Apache Kafka的命令：
bin/kafka-server-start.sh config/server.properties & bin/kafka-t
浏览 2提问于2016-01-18得票数 2
回答已采纳
我知道如何编写Kafka使用者并将每条记录插入/更新到Oracle数据库中，但我想为此利用Kafka和JDBC连接器。除了属性文件之外，在我的搜索中，我找不到一个完整的可执行示例，其中包含在Java中配置和编写相关代码的详细步骤，以使用带有json消息的Kafka主题，并使用Kafka连接API和JDBC Sink连接器在Oracle数据库中插入/更新(合并)一个表。有人能演示一个示例，包括配置和依赖关系吗？这种方法有什么缺点吗？当表数据增加到数百万时，我们预计会出现什么潜在的问题吗？
提前谢谢。
浏览 1提问于2019-01-09得票数 0
1回答
查询:将路由器接口作为kafka集群的生产者。
问题:我的路由器接口正在尝试将数据推送到运行kafka的端口。(默认为9092)。
问题1但是kafka broker可以在不创建主题的情况下接受这些数据吗？
问题2. kafka消费者可以在不指定主题的情况下拉取数据吗？
If yes, How ?
If not, What is work around this and how can i achieve this ?
第一次编辑：
我刚刚检查了Kafka broker配置是否有"auto.create.topics.enable“字段。如果我设置为true，
浏览 1提问于2014-06-18得票数 0
我是跟随书"Kafka:权威指南“第一版来理解什么时候日志段被代理删除。
根据我所理解的案文，段段在关闭之前是不会被删除的。段只有在达到log.segment.bytes大小时才能关闭(考虑到未设置log.segment.ms )。一旦一个段有资格被删除，log.retention.ms策略将适用于最终决定何时删除此段。
然而，这似乎与我在我们的生产集群中看到的行为相矛盾( Kafka ver 2.5)。
当满足log.retention.ms时，即使段大小小于log.segment.bytes，日志段也会被删除。
2020-12-24 15:51:17,808 INFO日志分区=主
浏览 5提问于2020-12-30得票数 7
回答已采纳
我正在使用Kafka Mirrormaker来模拟到运行Spark的弹性MapReduce集群的生产流量。下面是我的设置：
1)一个Kafka Mirrormaker实例消耗生产Kafka实例并填充测试Kafka实例
2) Kafka Mirrormaker的第二个实例使用1)中创建的测试Kafka实例，并发布到新的Kafka集群
3)弹性MapReduce集群消费3)中的Kafka集群。
问题是我在日志文件中看到了kafka.common.OffsetOutOfRangeException错误。我想知道如何防止这种情况发生。
这是我在运行EMR作业时使用的过程：
1)杀死我正在运行的Mirr
浏览 0提问于2018-12-28得票数 0
我在试着用罗格罗特厨师的食谱。
include_recipe "logrotate"
logrotate_app "kafka-logs" do
cookbook "logrotate"
path "/tmp/kafka.log"
frequency "daily"
size "1k"
rotate 10
create "0644 root root"
end
我正在试着旋转给定的尺寸。我使用了1K测试。Yet..when I摄取数据..我看不到旋转。日志在哪
浏览 7提问于2013-07-27得票数 0
1回答
我们有一个用例，基于到达工作队列的工作项，我们需要使用消息元数据来决定从哪个Kafka主题流式传输我们的数据。我们部署的工作节点可能不到100个，每个工作节点可以有一个可配置的线程数来接收来自队列的消息。因此，如果一个工作者有"n“个线程，我们可能会将kafka流打开到"n”个不同的主题。(n通常小于10)。一旦工作进程处理完消息，我们还需要关闭流。工人可以收到下一条消息，一旦它确认了第一条消息，在这一点上，我需要打开另一个主题的kafka流。此外，每个kafka流都需要扫描主题的所有分区(大约5-10个)，以根据某个属性进行过滤。 这样的流是否适用于Kafka流，或者这不是
浏览 17提问于2020-09-10得票数 0
我有一个带有一个分区的Kafka主题。我正在尝试向broker发送消息。源的大小为1.5 TB。我的代理有两个目录来存储Kafka分区
/dev/sdc1 1.1T 567G 460G 56% /data_disk_0
/dev/sdd1 1.1T 1.1T 0 100% /data_disk_1
每个磁盘大小为1.1 TB。因为我的主题只有一个分区，所以Kafka将所有消息存储到/dev/sdd1。最终磁盘会完全填满，因为源磁盘大小大于目标磁盘大小。我可以在不改变分区数量的情况下，将主题分区扩展到一半数据存储在disk0中，另一半数据存储在disk1中
浏览 2提问于2019-11-06得票数 0
我们设置了zookeeper quorum (3个节点)和3个kafka代理。制作人无法向kafka发送记录-数据丢失。在调查期间，我们(仍然可以)通过SSH连接到该代理，并观察到代理磁盘已满。我们删除了主题日志以清除一些磁盘空间，并且代理再次按预期运行。 假设我们仍然可以通过SSH连接到该代理(我们现在看不到日志)，但我假设zookeeper可以听到该代理的心跳，并且没有考虑到它？处理此类事件的最佳实践是什么？
浏览 43提问于2019-05-17得票数 1
回答已采纳
尽管news表有超过6500万条记录，但我在Kafka主题中看不到任何记录。连接器配置：
curl -X POST http://localhost:8083/connectors -H "Content-Type: application/json" -d '{
"name": "news_fetcher",
"config": {
"connector.class": "io.confluent.connect.jdbc.JdbcS
浏览 18提问于2021-06-06得票数 0
我想要一个函数，比如checkKey()，它的工作原理如下：
def checkKey(key):
if(key in topic-name):
return True
return False
我在Kafka的文档中找不到这一点。我知道为了消除重复数据，Kafka可以更新密钥。但是，我不想要更新，我想知道它是否已经存在。如果它存在，我想用以下方式更新它的值：
def updateValue(key):
if(checkKey(key)):
value of key in topic-name += 1
这是我需要使用Python来执行的
浏览 0提问于2018-05-22得票数 0
1回答
我一直试图将数据从SQL server (启用更改跟踪)加载到Kafka，以便一个或多个系统(报表、其他DB等)能够使用这些数据。
我已经成功地为sql server(confluentinc/kafka-connect-cdc-mssql:1.0.0-preview)配置了卡夫卡连接插件，我还成功地在卡夫卡机器上启动了它。
我一直在寻找帮助回答以下问题的文档(找不到)
我如何将卡夫卡的主题与这种联系联系起来？
根据我发现的信息(在debezium论坛上)，将为每个表创建一个主题-->它是否与kafka sql server连接器的工作方式相同？
我在分布式模式下配置了连接，
浏览 0提问于2018-11-08得票数 2
卡夫卡没有从以下错误开始：
Fatal error during KafkaServer startup. Prepare to shutdown
java.lang.IllegalArgumentException: Duplicate log directories found: /node5/kafka/data/logs-47, /node7/kafka/data/logs-47!
at kafka.log.LogManager$$anonfun$loadLogs$2$$anonfun$3$$anonfun$apply$10$$anonfun$apply$1.apply$mcV
浏览 4提问于2021-03-08得票数 0
回答已采纳
我的应用程序运行在一个由3个节点组成的Kubernetes集群上，并使用Kafka来流数据。我试图检查我的系统从节点故障中恢复的能力，所以我故意让其中一个节点故障了1分钟。
在大约50%的时间里，我经历了单个数据记录在节点失效后的数据丢失。如果控制器Kafka broker在失败的节点上运行，我会看到一个新的控制器代理按预期进行了选择。当发生数据丢失时，我在新的控制器代理日志中看到以下错误：
错误控制器id=2 epoch=13控制器2期13未能更改分区__epoch=13_偏移-45从OfflinePartition到OnlinePartition (state.change.logger)
浏览 5提问于2022-04-12得票数 1
这个问题是的后续问题。我需要将小字典数据加入到主要的Kafka流中(就像“地图端”连接一样)。
AFAIK，Kafka实例总是在主题的给定分区上工作。如果我想进行查找，我需要为连接键重新划分这两个流，以便将相关记录放在一起。
如果需要检查多个查找数据，多次重新分区的成本是多少？不可能将整个查找数据集发送到每个分区，因此当我从查找主题构建KTable时，我将在所有Kafka应用程序实例中看到整个数据集。因此，我可以在KStream#transform()方法中进行查找，这将使用本地RocksDB存储区和我拥有的所有查找数据。
我想知道哪一种选择更合适：
向主题的每个分区插入相同的数据(整个数
浏览 1提问于2016-09-21得票数 4
回答已采纳
我想获得帮助的初始设置与apache storm和kafka设置。
我可以向storm集群提交拓扑，但在storm ui中出现以下错误。
Unable to get offset lags for kafka. Reason: java.lang.IllegalArgumentException: zk-node '/kafka-cluster-1/brokers/topics/myfirsttopic/aadb3eb4-2224-4c18-b8ad-6959a1c9f607' dose not exists. at org.apache.storm.kafka.monitor
浏览 34提问于2018-04-21得票数 0
回答已采纳
我在Kafka代理之间迁移数据时遇到错误。 我正在使用kafka-reassignment工具将分区重新分配给不同的代理，而不进行任何限制(因为它不能使用下面的命令。)大约有50个主题的400个分区。 Apache Kafka 1.1.0
Confluent Docker Image tag : 4.1.0 命令： kafka-reassign-partitions --zookeeper IP:2181 --reassignment-json-file proposed.json --execute —throttle 100000000 一段时间后，我能够在目标代理上连续看到下面的错误
浏览 91提问于2019-09-13得票数 1
回答已采纳
我使用的是Kafka 0.8.2版本。在开发过程中，我想我可能需要删除一个主题。因此，我所做的是将以下行放入服务器配置文件中，并启动两个kafka服务器。
delete.topic.enable=true
当我需要删除一个主题时，我运行以下命令：
bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic MyTopic
现在距离我运行删除主题命令已经17个小时了，但是Kafka仍然显示该主题被标记为要删除。是Kafka的bug，还是我做错了什么？因为这对我来说不太正常。有没有人能在这方面澄清一下？
[注意:我已经读过了。但在
浏览 1提问于2015-10-13得票数 4
1回答
我想用kafka实现一个队列机制。但是找不到任何地方，如果可以只偷看为任何主题创建的队列中的数据，而不进入其中。
我想从队列中读取数据，并根据不同的条件想要删除现有的消息或将另一条消息添加到此队列中。另外，是否可以使用来自不同机器的单个kafka服务器。
我参考了tutorialspoint以了解更多关于它的信息。
提前谢谢。任何线索都将不胜感激。
浏览 0提问于2018-07-26得票数 0
1回答
我读了很多关于配置的话题，但我还是不明白。
当我这样做的时候：
../kafka_2.11-1.1.0/bin/kafka-topics.sh --zookeeper localhost:2181 --alter --topic my_topic --config max.message.bytes=10000000
这很有帮助
但在我的应用程序中，我尝试了所有的方法
def producerSettings(system: ActorSystem): ProducerSettings[String, KafkaMessage] =
ProducerSettings(system, n
浏览 0提问于2018-08-30得票数 0
回答已采纳
目前，我设置了两个独立的连接器，运行JDBC Sink Connector来摄取生产者生成的主题，并将其读入数据库。有时，我在日志中看到错误，这会导致生成的消息无法存储到数据库中。我经常看到的错误是
Caused by: org.apache.kafka.common.errors.SerializationException: Error retrieving Avro schema for id:11
Caused by: io.confluent.kafka.schemaregistry.client.rest.exceptions.RestClientException: Subjec
浏览 22提问于2021-10-29得票数 0
我使用kafka-connect将mysql表中的行流式传输到kafka主题。
当我在ksql-client上运行此命令时：
LIST TOPICS;
我得到了一个主题列表，如下所示：
Kafka Topic | Registered | Partitions | Partition Replicas | Consumers | ConsumerGroups
-----------------------------------------------------------------------------------------------------
浏览 0提问于2018-07-20得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
