首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >Cloudera Kafka命令行启动服务器不工作

Cloudera Kafka命令行启动服务器不工作
EN

Stack Overflow用户
提问于 2017-12-06 17:39:39
回答 1查看 905关注 0票数 2

看一看说明书-- line.html

我正在运行这些测试命令行,其中一组工作,但另一组不工作。

按照指示,它可以工作,但注意到它有“动物园管理员”作为参数,我认为它已经停止了。

制片人:

代码语言:javascript
复制
/usr/bin/kafka-console-producer --broker-list local-ip:9092 --topic test

消费者:

代码语言:javascript
复制
/usr/bin/kafka-console-consumer --bootstrap-server local-ip:9092 --topic test --from-beginning

以上不工作的Cloudera版本,但工作在我的独立卡夫卡安装。

这适用于Cloudera:

代码语言:javascript
复制
/usr/bin/kafka-console-consumer --zookeeper local-ip:2181 --topic test --from-beginning

试图了解Cloudera的Kakfa版本之间的区别(3.0.0-1.3.0.0.p0.40?)而我的(2.11-0.11.0.1),或者必须有什么东西打开或关闭。

我看到了一些类似的话题,并试图跟踪他们,但没有结果。我觉得这和克劳德拉有关。

EN

回答 1

Stack Overflow用户

发布于 2018-02-27 11:30:02

最新答案:

在我的例子中,我配置了两个代理,并将offsets.topic.replication.factor的配置值设置为3。因此,当卡夫卡试图构建一个具有比可用代理更多副本的主题时,会抛出一个异常,并且不会创建该主题。

解决方案是设置offsets.topic.replication.factor = 2并重试。也许您需要再次删除和部署代理。

我不知道为什么,也许是Cloudera的Kafka版本中的一个bug,但是我用本地的kafka测试解决了它。

我从https://kafka.apache.org/downloads下载了卡夫卡的最新版本,并更新了代理配置文件config\server.properties,以使用远程动物园管理员服务器。这样,我就有了一个混合配置代理集群:

  • 我笔记本电脑里的经纪人
  • 云团中的动物园管理员

使用这种配置,我创建了一个主题,并从我的笔记本上运行kafka-控制台-使用者和kafka-控制台-生产者,但是针对远程动物园管理员:

代码语言:javascript
复制
$ kafka-topics --create --zookeeper zookeeper.cloudera-cluster:2181 --replication-factor 1 --partitions 1 --topic test
$ kafka-console-consumer --broker-list localhost:9092 --topic test
$ kafka-console-producer --broker-list localhost:9092 --topic test

这工作得很好。此外,使用它,主题__consumer_offsets已经自动创建,现在新的消费者版本工作得很好。此时,您可以删除创建的主题并停止本地代理,并开始正常使用kafka集群。

这是Cloudera发行版的bug吗?也许Cloudera的版本不能自动构建__consumer_offsets

  • 下载卡夫卡版本: kafka_2.11-1.0.0.tgz
  • Cloudera的kafka版本: 3.0.0-1.3.0.0.p0.40
票数 2
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/47680328

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档