1回答
我已经使用kafka源连接器将文档从Couchbase获取到kafka。然后将这些文档复制到Mongo DB。Couchbase --> Source Connector --> Kafka --> Sink Connector -> Mongo 如果源连接器关闭，那么如何再次将所有文档同步到Kafka？有没有get和touch功能可以将kafka主题在停机期间所做的所有更改
浏览 20提问于2019-10-17得票数 0
1回答
我们正在开发一个SAAS系统，在这个系统中，我们最初使用MySQL作为DB，但随着数据的增长，我们的数据列表变慢了，所以为了解决这个问题，我们已经使用了Mongo DB，我们已经在其中存储了准备好的JSON，我们需要显示一段时间(与MySQL的所有连接)，它工作得很好最初，它工作得很好，但随着时间的推移，数据和它的速率增加，它失败了很多次，所以我们决定寻找任何可以从MySQL binlog读取的替代方案，我们可以在途中根据需要合并MySQL表，并将其存储在Mongo中 C
浏览 14提问于2020-02-04得票数 0
如何在apache Kafka中集成cassandra作为数据生产者？ 在kafka配置上有什么特别的配置吗？
浏览 41提问于2019-04-07得票数 0
我正在阅读关于Kafka和Kafka Connect的文章。文档在Kafka Connect文档中以一种通用的方式提到了“Kafka源”和“Kafka汇”。我不确定这两个术语是否特定于Kafka Connect，或者它们只是指生产者和消费者。
浏览 13提问于2021-06-24得票数 0
回答已采纳
阅读关于Kafka connect的文章，它被定义为执行任务的运行时。
说Kafka connect(或任何其他软件)是运行时到底意味着什么？它如何影响它与卡夫卡连接架构的其他部分的关系，如连接器、转换器或卡夫卡本身？
浏览 3提问于2022-07-03得票数 0
回答已采纳
我是卡夫卡的新手，现在我需要把数据从一个卡夫卡主题复制到另一个。我想知道这样做的可能方法是什么？我能想到的方法如下：我的问题是:在两者之间可以使用两个卡夫卡连接器吗？例如汇连接器+源连接器。是这样的，你能给我举几个好例子吗？或者是一些如何做到的暗示？
提前感谢！
浏览 1提问于2020-07-15得票数 1
我的应用程序从IBM MQ获取消息，并根据内容将其路由到不同的Kafka主题。Kafka MQ源连接器可以将事件从MQ带到1个kafka主题，我们可以在Kafka MQ连接器内进行基于消息的路由吗？
或者我们是否必须编写一个KStream应用程序来根据内容有效负载进行路由
浏览 0提问于2019-08-08得票数 0
我使用的是kafka connect cassandra源连接器1.0版本。我在cassandra表中有一个十进制数据类型列(价格)，并将它作为json从源连接器写入到kafka主题中，它正在以某种字符串格式写入小数值，例如"price":"AA=="。请建议在写kafka主题中的值时可能出错的地方。提前谢谢。
浏览 2提问于2018-11-20得票数 0
我了解到Kafka connect可以在集群模式下部署。并且工作人员在数据源和kafka主题之间移动数据。我想知道的是，如果工作人员在数据源之间移动数据到kafka主题时失败，会不会有数据丢失？如果发生数据丢失，我们如何从连接器获取数据，或者kafka connect会自动处理它吗？
浏览 33提问于2021-01-22得票数 0
回答已采纳
我尝试通过PySpark在HBase中创建Kafka数据摄取。目前，我尝试使用HappyBase将数据从卡夫卡插入到Hbase中，但是速度非常慢。
浏览 18提问于2019-03-25得票数 0
我正在使用源连接器从数据库中的视图中读取数据，并将其发布到kafka上，它运行良好。我的问题是如何在Kafka连接源连接器中定义消息键？
浏览 1提问于2018-06-21得票数 5
回答已采纳
1回答
我即将为我的组织实现一个基于Kafka和Spark的流媒体基础设施。然而，当涉及到摄入卡夫卡的数据时，我对如何选择最好的方法感到困惑。
为了做出选择，我当然可以独自尝试每一件事
浏览 3提问于2017-08-03得票数 3
2回答
我们正在开放源码Apache连接器之上与mongodb kafka connetor合作，以获取从Mongo到HDFS的json数据。我们有kafka使用者，它读取kafka中的数据更改并将它们写入hdfs文件。我们需要根据预定日期触发卡夫卡消息。
浏览 9提问于2022-09-23得票数 0
回答已采纳
我在HDFS.Our中有源路径和目标路径，UpStream将文件放在源路径中，如果有任何新文件从源路径复制到目标路径，我们会检查是否有新文件添加到源路径中。我的问题是，我们可以在这里使用Kafka吗?如何使用？
浏览 0提问于2017-09-27得票数 0
2回答
我是否需要将逻辑级别的WAL流到Kafka中，然后编写自定义逻辑将其转换为目标数据库上的SQL语句？有什么工具吗？
浏览 0提问于2021-02-04得票数 0
我正在使用Kafka源和接收器连接器创建一个数据管道。源连接器使用SQL数据库并发布到topic和Sink连接器，订阅主题并放入其他SQL数据库。表有16 GB的数据。源连接器配置： "connector.class": &
浏览 1提问于2019-03-11得票数 4
我有一个需求，我需要消费Kafka Topic并将其写入MQ Topic。有人能建议我做它的最好的方法，我是新手卡夫卡。
浏览 55提问于2019-05-28得票数 0
回答已采纳
Mirrormaker 2基于Kafka框架，可以将其核心看作是Kafka源和接收器连接器的组合。因此，在MM2体系结构中，有源和接收器连接器。但是，对于MM2中的连接器，是否有额外的Kafka集群？因为在kafka连接设计中，源和汇连接器需要Kafka集群来移动数据。
例如，MM2需要源和目标集群；我的问题是，需要第三个MM2来进行镜像操作，而不使用源集群和目标
浏览 5提问于2020-10-15得票数 0
1回答
我有一个web服务器接收一些事件作为post请求，我想处理使用Kafka流。我可以使用哪个源连接器来实现这一点？
浏览 12提问于2020-10-20得票数 0
1回答
我已经尝试将引导属性设置为：获取错误:在身份验证期间终止到节点-1 (/xx.xx:9092)的连接。这可能是由于以下任何原因造成的：(1)身份验证失败是由于代理的凭据无效，代理的年龄超过1.0.0；(2)防火墙阻塞Kafka TLS通信量(例如，它可能只允许HTTPS通信)；(3)瞬态网络问题。spring.kafka.properties.security.protocol=SASL_SSL
引发的抛出: java.
浏览 2提问于2020-03-02得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
