看一看说明书-- line.html
我正在运行这些测试命令行,其中一组工作,但另一组不工作。
按照指示,它可以工作,但注意到它有“动物园管理员”作为参数,我认为它已经停止了。
制片人:
/usr/bin/kafka-console-producer --broker-list local-ip:9092 --topic test消费者:
/usr/bin/kafka-console-consumer --bootstrap-server local-ip:9092 --topic test --from-beginning以上不工作的Cloudera版本,但工作在我的独立卡夫卡安装。
这适用于Cloudera:
/usr/bin/kafka-console-consumer --zookeeper local-ip:2181 --topic test --from-beginning试图了解Cloudera的Kakfa版本之间的区别(3.0.0-1.3.0.0.p0.40?)而我的(2.11-0.11.0.1),或者必须有什么东西打开或关闭。
我看到了一些类似的话题,并试图跟踪他们,但没有结果。我觉得这和克劳德拉有关。
发布于 2018-02-27 11:30:02
最新答案:
在我的例子中,我配置了两个代理,并将offsets.topic.replication.factor的配置值设置为3。因此,当卡夫卡试图构建一个具有比可用代理更多副本的主题时,会抛出一个异常,并且不会创建该主题。
解决方案是设置offsets.topic.replication.factor = 2并重试。也许您需要再次删除和部署代理。
我不知道为什么,也许是Cloudera的Kafka版本中的一个bug,但是我用本地的kafka测试解决了它。
我从https://kafka.apache.org/downloads下载了卡夫卡的最新版本,并更新了代理配置文件config\server.properties,以使用远程动物园管理员服务器。这样,我就有了一个混合配置代理集群:
使用这种配置,我创建了一个主题,并从我的笔记本上运行kafka-控制台-使用者和kafka-控制台-生产者,但是针对远程动物园管理员:
$ kafka-topics --create --zookeeper zookeeper.cloudera-cluster:2181 --replication-factor 1 --partitions 1 --topic test
$ kafka-console-consumer --broker-list localhost:9092 --topic test
$ kafka-console-producer --broker-list localhost:9092 --topic test这工作得很好。此外,使用它,主题__consumer_offsets已经自动创建,现在新的消费者版本工作得很好。此时,您可以删除创建的主题并停止本地代理,并开始正常使用kafka集群。
这是Cloudera发行版的bug吗?也许Cloudera的版本不能自动构建__consumer_offsets?
https://stackoverflow.com/questions/47680328
复制相似问题