开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

在OpenShift上安装了路由监听器类型的Strimzi Kafka中可以访问Zookeeper吗？

在OpenShift上安装了路由监听器类型的Strimzi Kafka，可以通过路由监听器访问Zookeeper。

Strimzi是一个开源的Kafka运算符，用于在Kubernetes和OpenShift上部署和管理Kafka集群。它提供了一种简化的方式来部署和管理Kafka，同时还提供了一些额外的功能和扩展性。

在Strimzi Kafka中，Zookeeper是Kafka集群的关键组件之一，用于存储和管理Kafka的元数据和状态信息。Zookeeper负责协调Kafka集群中的各个节点，并提供高可用性和容错性。

通过在OpenShift上安装路由监听器类型的Strimzi Kafka，可以使用OpenShift的路由功能来实现对Kafka集群中的Zookeeper的访问。路由监听器允许外部客户端通过OpenShift的路由器访问Kafka集群中的服务。

具体来说，可以通过以下步骤来访问Strimzi Kafka中的Zookeeper：

在OpenShift上安装和配置Strimzi Kafka集群，确保Zookeeper组件已正确部署和运行。
创建一个路由监听器，将其配置为路由到Kafka集群中的Zookeeper服务。可以使用OpenShift的命令行工具或Web界面来创建和配置路由监听器。
使用路由监听器的URL来访问Kafka集群中的Zookeeper。可以使用任何支持Zookeeper协议的客户端工具或库来进行访问。

需要注意的是，具体的配置和访问方式可能会因部署环境和需求而有所不同。建议参考Strimzi Kafka和OpenShift的官方文档以获取更详细的配置和使用说明。

推荐的腾讯云相关产品：腾讯云容器服务（Tencent Kubernetes Engine，TKE）。腾讯云容器服务是基于Kubernetes的容器管理服务，提供了一站式的容器化解决方案，可用于部署和管理Strimzi Kafka集群以及其他容器化应用。详情请参考腾讯云容器服务官方文档：https://cloud.tencent.com/product/tke

页面内容是否对你有帮助？

有帮助

没帮助

相关·内容

Kafka Operator 实践和解析

图1 strimzi kafka operator支持Kafka集群及周边生态[3] Strimzi Kafka Operator 封装了多层级的 Operator，顶层由四个 Operator 来实现...和 Topic Operator 实例; • User Operator：负责当前 Kafka 集群中不同类型 User 认证、鉴权和访问控制； • Topic Operator：负责当前 Kafka...集群的创建中，首先创建多副本的 zookeeper pod，创建完成后开始 kafka broker pod 创建。...1、Cluster Operator 整体架构 Cluster Operator 是 Strimzi Kafka Operator 中的核心模块，封装了 Kafka 集群管理及其周边生态工具的 CRD...Cluster Operator 中对 Kafka 集群及其周边生态工具的操作，主要由 6 种 KafkaAssemblyOperator 类型来实现。

6451 0

Kafka生态

http://strimzi.io/ - Apache Kafka Operator for Kubernetes and Openshift....在LinkedIn上，Camus每天用于将来自Kafka的数十亿条消息加载到HDFS中。...您可以在设计部分找到Camus的设计和体系结构。主要特征自动主题发现：Camus作业启动后，它将自动从Zookeeper中获取可用主题，并从Kafka中获取偏移量并过滤主题。...JDBC连接器使用此功能仅在每次迭代时从表（或从自定义查询的输出）获取更新的行。支持多种模式，每种模式在检测已修改行的方式上都不同。...为了确保正确推断类型，连接器提供了一项功能，可以从Kafka消息的架构中推断映射。

3.7K1 0

strimzi实战之一：简介和准备

欢迎访问我的GitHub 这里分类和汇总了欣宸的全部原创(含配套源码)：https://github.com/zq2599/blog_demos 关于strimzi strimzi是一个开源项目，...，strimzi的功能更加丰富，很多与消息有关的场景都能通过strimzi组件来实现 strmzi在GitHub已开源，地址是：https://github.com/strimzi/strimzi-kafka-operator...关于《strimzi实战》系列欣宸喜欢写系列文章，此风格在其他作品中已显露无疑，《strimzi实战》亦是如此，通过这个系列，除了掌握strimzi的各种功能，更是要深入学习strimzi的源码，我就想知道...：0.32.0 kafka：3.3.1（pod的环境变量） zookeeper：3.6.3 （进入容器，查找jar包，发现是zookeeper-3.6.3.jar）另外需要注意的是，本系列使用的strimzi...）先盘点有哪些是在实战前必须准备好的： kubernetes是必要的 pv即外部存储，有了它，kafka和zookeeper的数据就可以永久保存起来，要是没有pv，那些数据就只能保存在pod内部，一旦

7692 0

Strimzi Kafka Bridge(桥接)实战之一：简介和部署

桥接)实战》在strimzi技术体系中，桥接(bridge)是很要的功能，内容也很丰富，因此将桥接相关的内容从《strimzi实战》系列中独立出来，成立桥接相关的系列文章，便于分类和专项深入本篇概览...Kafka Bridge就是今天的主角：strimzi桥接服务，从下图很容易看出它的作用：通过http接口来生产和消费kafka消息在整个strimzi技术体系中，bridge可谓举足轻重，如下图红框...安装非kubernetes环境：使用bridge的安装包，解压后修改配置文件，然后用内置的shell文件启动即可整个《strimzi实战》系列都是在kubernetes环境中操作的，所以本篇只考虑上述第一种安装方式.../topics 成功收到bridge的响应，如下图，现有全部topic都返回了增加一个service，使得可以从外部访问 bridge的服务是ClusterIP类型，外部无法访问，那就新增一个NodePort...从宿主机暴露端口后，就可以用客户端工具（例如apipost）远程访问了，如下图安全问题（需要自己处理）从前面的架构图可以看出，业务服务与bridge之间是http协议，那么存在安全问题吗（毕竟是远程调用

8543 0

strimzi实战之二：部署和消息功能初体验

欢迎访问我的GitHub 这里分类和汇总了欣宸的全部原创(含配套源码)：https://github.com/zq2599/blog_demos 本篇概览本篇是《strimzi实战》系列的第二篇...，前文完成了介绍和准备工作，是时候体验strimzi的核心功能了：发送和接受kafka消息，为了完成这个目标，本篇会按照如下步骤开始实战：在kubernetes环境部署strimzi，这里面包含两个步骤...-n kafka 第二种，如果您的k8s环境还没有准备好pv，请执行以下命令完成部署，这样创建的kafka服务也能正常使用，只不过所有数据都存在pod中，一旦pod被删除，数据就找不回来了 kubectl...，一个用于收消息在发消息的窗口输入以下命令，就会创建名为my-topic的topic，并且进入发送消息的模式 kubectl -n kafka \ run kafka-producer \ -ti \...kafka下面的资源了，如下图另外，如果您使用了pv，还可以关注一下pv的使用情况，如下图，kafka的zookeeper的数据都改为外部存储了，数据不会因为pod问题而丢失不过由于我们还没有将

7803 0

懒人福音——GitHub 热点速览 Vol.42

Strimzi 解决了 k8s 等平台跑 Kafka 的烦恼，让你直接用 Strimzi 即可运行 Kafka，当然大厂也不示弱，swift-algorithms 便是苹果开源的算法集合包。...1.2 浏览器记录员：Headless recorder 本周 star 增长数：1300+ Headless recorder 是一个 Chrome 扩展，可以记录你在浏览器做的交互，并生成一个 Puppeteer...Glow 支持你发现 Markdown 文件，直接在命令行上阅读文档，并将 Markdown 文件存储到你自己的私人收藏中以便你随时随地阅读它们。...2.5 k8s 跑 Kafka：Strimzi 本周 star 增长数：400+ Strimzi 提供了在 Kubernetes 或 OpenShift 上以各种部署配置运行 Apache Kafka...GitHub 地址→https://github.com/strimzi/strimzi-kafka-operator 2.6 类 Excel 开源表格：Luckysheet 本周 star 增长数：1650

1.3K1 0

strimzi实战之三：prometheus+grafana监控（按官方文档搞不定监控？不妨看看本文，已经踩过坑了）

执行kubectl apply -f kafka-metrics.yaml，这里面包含了Exporter（用于暴露指标），文件kafka-metrics.yaml可以在GitHub的发布包中找到...namespace=aabbcc' -n aabbcc 实际操作之三：部署kafka+zookeeper+exporter 执行以下命令，会下载一个名为kafka-metrics.yaml 的配置文件，...，接下来可以添加dashboard（图表）了在grafana创建dashboard 现在，咱们只需要在grafana上添加dashboard，就能在页面上监控kafka的各项数据了如下图，点击黄色箭头所指的...，这里给出一些参考信息，您可以自己动手试试，如下图，在prometheus.yaml文件中，红色箭头所指位置可以添加pvc，这样就能使用当前kubernetes环境的pv了，grafana的存储配置亦是如此...kafka视图除了strimzi提供的grafana图表，我们还可以使用grabana官网上的kafka图标，最具代表性的应该是Kafka Exporter Overview，导入方法很简单

5051 0

kafka集群搭建

各模块解析 2.1. zookeeper 这里zookeeper使用的是zookeeper官方提供的镜像，与大多数教程中的wurstmeister/zookeeper是一样的，在使用时可以挂载卷实现数据持久化...监听器会注册在 zookeeper 中；当我们对 172.17.0.10:9092 请求建立连接，kafka 服务器会通过 zookeeper 中注册的监听器，找到 INSIDE 监听器，然后通过...信息 ---- 那么在kafka容器中就可以通过docker命令来得到相关的容器信息，在官方github中的start-kafka.sh脚本中也确实看到了其使用了docker port命令有了socket...，那在容器中有docker的client可供使用吗？...答案是有的，在Dockerfile其已经安装了docker 2.3. kafka_manager 用来管理kafka集群的，在容器启动后可以通过localhost:9000访问可视化界面。

5581 0

有状态应用如何在k8s上快速扩容甚至自动扩容

配置监控今天虚机环境上出现了问题, 是因为RabbitMQ资源不足. 手动扩容的过程中花费了较长的时间....那么, 还有哪些因素, 让有状态应用可以在k8s上快速扩容甚至自动扩容呢?..., 一一梳理下: Eureka Nacos Redis RabbitMQ Kafka TiDB K8S上有状态应用扩容在Kubernetes上, 有状态应用快速扩容甚至自动扩容很容易....在这里, 通过 Headless Service 和 PV/PVC(存储nacos 插件或其他数据)，实现了对 Pod 的拓扑状态和存储状态的维护，从而让用户可以在 Kubernetes 上运行有状态的应用...包含Kafka组件的典型部署可能包括： Kafka 代理节点集群集群 ZooKeeper - ZooKeeper实例的集群 Kafka Connect集群用于外部数据连接 Kafka MirrorMaker

1.8K4 0

Strimzi改进了Prometheus的Kafka指标

作者：Jakub Scholz 在我们之前的博客文章中，我们主要关注跟踪，这是0.14.0版本中的一个新特性。但是跟踪并不是我们在0.14.0中对监视功能进行的惟一改进。...但是在0.14.0中，通过添加对Kafka导出器（Kafka Exporter ）的支持，我们做出了一些重大改进。Kafka导出器增加了Kafka代理中缺少的一些额外指标。...在0.14.0中，我们的仪表板是相当基本的。在0.15.0中，我们将发布一个改进的Grafana仪表板，它将使用Kafka导出器提供的更多不同指标。...你可以在我们的GitHub上找到样本Prometheus警报和Grafana仪表板。...如果你喜欢Kafka导出器提供的功能，别忘了在GitHub上给它打颗星。

2.5K1 0

容器化应用系统上生产的最佳实践

容器化应用系统上生产的最佳实践前言最近忙的要死, . 上一周来了一次比996更猛的`906. 这周二终于有点遭不住了, 调休一天, 稍微歇息一下....典型如: redis, kafka, zookeeper等) 配置反亲和性podAntiAffinity....保证同一组微服务/应用/组件尽可能打散在不同node上. ⚠️ 注意: 部分微服务示例数可能会超过Node数, 这时候这条策略就可能导致多出来的pod无法调度因为上述原因, 对于副本数超过4个的微服务...app.kubernetes.io/name: strimzi strimzi.io/cluster: kafka-prod strimzi.io/kind: Kafka...strimzi.io/name: kafka-prod-kafka spec: selector: matchLabels: strimzi.io/cluster: kafka-prod

6742 0

K8S 生态周报| etcd v3.4.0 带来众多更新

GCP （Google Cloud Platform）Cloud DNS 提供的 zone 数据，实际上它是通过 Google Cloud 的 API 来获取这些信息的，如果你没有在使用 GCP Cloud...更多关于此版本的信息，请参考 Release Note 3 Strimzi 成为 CNCF sandbox 项目 Strimzi 是一个致力于将 Apache Kafka 运行在 Kubernetes...上的项目，不过在它这次申请成为 CNCF sandbox 项目之前，它的另一个方向是让 Apache Kafka 运行在 OpenShift 上。...为了成为 CNCF 的 sandbox 项目，所以现在你能在网站上看到的内容已经大部分都重写成为了让其在 Kubernetes 上运行了。...所以如果你在使用 Openshift 那倒是也可以尝试下此项目。附一张架构图 ? 4 etcd v3.4.0 正式发布 etcd v3.4.0 已于近日发布，这个版本中包含了大量的更新。

5622 0

Strimzi Kafka Bridge(桥接)实战之三：自制sdk(golang版本)

欢迎访问我的GitHub 这里分类和汇总了欣宸的全部原创(含配套源码)：https://github.com/zq2599/blog_demos 本篇概览本文是《Strimzi Kafka Bridge...环境信息以下是我这边的环境信息，您可以作为参考 JDK：11.0.14.1 Maven：3.8.5 strimzi-kafka-bridge：0.22.3 swagger-codegen-cli：2.4.9.../refs/tags/0.22.3 ，下载后解压得到名为strimzi-kafka-bridge-0.22.3的文件夹这个文件就是OpenApi的配置文件，可以用来生成客户端sdk源码：strimzi-kafka-bridge...+json，结果在OpenApi中却定义了多种类型，结果拉去消息的时候，bridge会提示多出的类型不支持这个问题可以用postman等工具复现，如下图代码的改动如下图，修改api_consumers.go...到底测试过吗，这个做CICD自动化应该可以做到吧，能进CNCF的项目，也是会出问题的…

7435 0

当Spring邂逅Kafka，有趣的知识增加了

theme: cyanosis 0.阅读完本文你将会学到一些linux的常用命令如何在linux上安装JDK、ZooKeeper、Kafka 轻量级的Spring与Kafka的整合 Kafka起初是由...如果你的电脑上已经安装了Kafka，可以跳过第一部分，直接进入第二部分哦。 1. Kafka的安装与设置安装Kafka之前，我们需要安装Java以及ZooKeeper。 1.1 安装JDK 1....--partitions 1 \ --topic mytopic 现在由于有了Kafka中AdminClient的引入，我们可以在程序中创建topic。...一旦这些bean在Spring bean工厂中可用，就可以使用@KafkaListener注解来配置基于POJO的consumer。...我们可以通过添加一个自定义的过滤器来配置监听器来消费特定类型的消息。

1K1 0

说说Kafka控制器事件处理全流程

在Kafka的早期版本中，并没有采用 Kafka Controller 这样一概念来对分区和副本的状态进行管理，而是依赖于 ZooKeeper，每个 broker都会在 ZooKeeper 上为分区和副本注册大量的监听器...在目前的新版本的设计中，只有 Kafka Controller 在 ZooKeeper 上注册相应的监听器，其他的 broker 极少需要再监听 ZooKeeper 中的数据变化，这样省去了很多不必要的麻烦...ZooKeeper的数据模型就像文件系统一样，以根目录 "/" 开始，结构上的每个节点称为znode，可以存储一些信息。节点分为持久节点和临时节点，临时节点会随着会话结束而自动被删除。...因此在0.11版本之后将多线程并发访问改成了单线程事件队列模式。将涉及到共享数据竞争相关方面的访问抽象成事件，将事件塞入阻塞队列中，然后单线程处理。...最后在通知集群中Broker的过程是每个Broker配备一个发送线程，因为发送是同步的，因此每个Broker线程隔离可以防止某个Broker阻塞而导致整体都阻塞的情况。

3693 0

Kafka集群内外网分流实战指南

双网卡配置最直观的内外网分流方式是在Kafka节点上配置双网卡，分别绑定内网IP和外网IP。这种配置下，Kafka可以通过不同的监听端口或不同的Broker地址来区分内外网流量。 2....Kubernetes Service配置在Kubernetes中，每个Kafka Broker节点可以作为一个Pod运行，而Service则负责定义这些Pod的访问方式。...例如，将Kafka Broker部署在一个仅允许内网访问的子网中，而对外服务的Kafka Proxy或者负载均衡器部署在面向公网的子网中。...在Kubernetes上，可以为Kafka Broker配置TLS加密，并结合客户端认证机制，为内外网通信提供额外的安全保障。...但是在集群外部时，kafka客户端进行连接，它是需要有能力访问kafka的每一个broker节点的，所以需要在advertised.listeners中配置公网IP，并存储在zookeeper中，这样kafka

3192 1

原创|互联网公司必备利器Kafka终极入门，最后一篇

创建3台kafka容器,同样将容器指定backend桥接网络，这样做的好处是容器都处于一个局域网中，且你可以通过主机名或者容器名称直接访问，不需要知道IP地址。...在第二节的zookeeper教程的基础上，我启动了3个zookeeper节点。分别命名为zk1,zk2,zk3。同样首先基于kafka镜像启动容器，指定桥接网络，与主机名、容器名方便我们操作。...配置zookeeper ? 同理，按照这种配置，在其他两台kafka中相同的步骤来配置，id号分别为2，3。监听器主机名需要对应的修改。 2 启动三台kafka 分别启动三台kafka ....会存在partition与其副本在同一个broker中吗？ ? 报错了，提示副本数不能大于broker。...实际上在新版kafka中offset以topic的形式存放在kafka中，老版本的kafka是将offset存放在zookeeper中，consumer消费消息需要指定zookeeper地址，kafka

5032 0

保姆级Kafka 降本实用指南

我们的 Kafka 是在一个负载均衡器（部分充当一个 NAT 层）之后运行的，并且由于每个 broker 都需要单独寻址，因此你需要为“引导”路由和每个 broker 的路由付费。...但我们还是会从显而易见的东西开始分析—— 你是否使用了正确的实例类型？ AWS 上有很多实例类型可供选择（当然，这里提到的方法也可以用在其他云提供商上）。...Kafka 可以在廉价的货架硬件上轻松运行，并且不会出什么显眼的问题。...如果你在谷歌上搜索生产级 Kafka 集群的推荐实例类型，你会发现人们建议用 r4、d2 甚至 c5 与 GP2/3 或 IO2 存储搭配用于一般用途。...KIP-500：Kafka 不需要 Keeper 可能你还没有听说过，在未来的版本中，Kafka 将移除其对 ZooKeeper 管理集群元数据的依赖，并移至基于 Raft 的治理模式。

4363 0

Kafka 降本实用指南

我们的 Kafka 是在一个负载均衡器（部分充当一个 NAT 层）之后运行的，并且由于每个 broker 都需要单独寻址，因此你需要为“引导”路由和每个 broker 的路由付费。...但我们还是会从显而易见的东西开始分析—— 你是否使用了正确的实例类型？ AWS 上有很多实例类型可供选择（当然，这里提到的方法也可以用在其他云提供商上）。...Kafka 可以在廉价的货架硬件上轻松运行，并且不会出什么显眼的问题。...如果你在谷歌上搜索生产级 Kafka 集群的推荐实例类型，你会发现人们建议用 r4、d2 甚至 c5 与 GP2/3 或 IO2 存储搭配用于一般用途。...KIP-500：Kafka 不需要 Keeper 可能你还没有听说过，在未来的版本中，Kafka 将移除其对 ZooKeeper 管理集群元数据的依赖，并移至基于 Raft 的治理模式。

3931 0

Grab 改进 Kubernetes 集群中的 Kafka 设置，无需人工干预就可轮换 Broker 节点

作者 | Rafal Gancarz 译者 | 明知山策划 | 丁晓昀 Grab 更新了其 Kubernetes 上的 Kafka 设置以提高容错性，并完全避免在 Kafka Broker...作为其 Coban 实时数据平台的一部分，Grab 已经在 Kubernetes (EKS) 上使用 Strimzi 在生产环境中运行 Apache Kafka 两年了。...他们最后需要克服的一个最大的障碍是确保新配置的 Kafka 工作节点能够正确启动并访问数据存储卷。工程师们决定使用弹性块存储（EBS）卷而不是 NVMe 实例存储卷。...使用 ESB 有许多好处，例如成本更低、将卷大小与实例规格解耦、更快的同步速度、快照备份以及在不停机的情况下增加容量。此外，他们将 EC2 实例类型从存储优化改为通用型或内存优化型。...经过这些改进，EC2 实例退役以及任何需要对所有工作节点进行轮换的操作都可以在没有人工干预的情况下进行，这些操作变得更快速、更不容易出错。

1051 0

点击加载更多

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭