当有多个表需要插入时，如何使用Kafka Connect？
我正在尝试实现Kafka连接接收器以插入到多个Oracle表。
浏览 7提问于2017-08-30得票数 0
回答已采纳
我们需要从Kafka中提取数据并写入AWS s3。Kafka由单独的部门管理，我们只能访问特定的主题。根据Kafka文档，看起来Kafka Connect对我来说是一个简单的解决方案，因为我没有任何自定义的消息处理逻辑。通常，当我们运行Kafka Consumer时，我们可以使用相同的使用者组运行多个JVM，以实现可伸缩性。特定消费者的消费者JVM可以运行在同一台物理服务器上，也可
浏览 2提问于2018-03-08得票数 1
) {}"partitioner.class": "co.myapp.RawDumpHourlyPartitioner",FROM gradle:6.0-jdk8 as builderADD . .RUN gradle clean shadowJar
FROM confluenti
浏览 7提问于2020-02-13得票数 2
回答已采纳
我想在使用Kafka Connect Source JDBC连接器导入表格时设置mesage键。当有多个表被定义为从JDBC连接器读取时，Kafka Connect/Source中的单个消息转换(SMT)如何针对正确的字段？SMT需要一个列名，当有多个表时，列名可能会有所不同。\$Key",
"transforms.extract.f
浏览 12提问于2019-07-13得票数 2
回答已采纳
我是第一次使用Kafka Connect。
场景:我们希望在Kafka中导出存储在多个主题(好的数字> 400)中的数据，并将这些数据转储到Elastic Search Indexes中。建议使用Kafka-Connect，但由于它是多租户集群，Ops团队可能无法提供直接访问，甚至无法运行插件安装命令。我们有自己的托管虚拟机，可以在其中部署应用程序实例。Ques -有没有可能通过在我们的VM上安装连接器插件而不
浏览 5提问于2020-06-18得票数 0
我们的集群运行Kafka 0.11，并且对使用消费者组有严格的限制。我们不能使用任意的使用者组，所以Admin必须创建所需的使用者组。我们运行Kafka Connect HDFS Sinks从主题中读取数据并写入HDFS。所有主题只有一个分区。案例1:每个主题都有自己的消费群体
案例2:所有主题都有一个共同的消费群体
我知道，<
浏览 0提问于2019-09-02得票数 28
回答已采纳
我们正试图在给定节点上启动多个独立的kafka hdfs连接器。启动kafka独立连接器时，会出现错误。java.rmi.server.ExportException:已在使用的端口: 9999；嵌套异常为: java.net.BindException:已在使用的地址(绑定失败)
浏览 7提问于2017-06-14得票数 2
我们有卡夫卡弹性搜索接收器连接器将数据传输到弹性search(v5.6.3). at org.apache.kafka.connect.runtime.WorkerSinkTask.openPartitions(
浏览 0提问于2018-12-06得票数 2
(Kafka 2.0.1 -实际上是我们的生产环境)来运行connect-framework和using server server。: <PWD>
当启动connect-framework时，似乎一切正常，我可以看到声称kerberos身份验证成功的日志，等等。当我尝试使用curl启动一个连接作业时，问题就来了。与代理的通信似乎工作得很好-连接作业按预期传递回kafka，当连接框架重新启动时，作业似乎按
浏览 0提问于2020-04-06得票数 8
回答已采纳
org.apache.kafka.connect.errors.ConnectException: Task already exists in this worker: *name of the connector* at org.apache.kafka.connect.runtime.distributed.Di
浏览 0提问于2018-09-03得票数 5
全堆栈跟踪： at org.apache.kafka.connect.runtime.WorkerSinkTask
浏览 1提问于2019-12-03得票数 2
回答已采纳
我们正在尝试在两个数据中心之间复制我们的偏移量。对于单个消费者来说非常简单，只需添加：kafka</e
浏览 28提问于2021-06-09得票数 0
回答已采纳
我想从各种S3存储桶(超过10,000个存储桶，每个文件大约20-50MB)加载数据到Apache Kafka。存储桶列表是动态的-在运行时添加和删除存储桶。Kafka Connect似乎是这类任务最常用的工具，它的可插拔架构将使未来添加新源代码变得更容易，因此它非常适合。为我期望的文件格式构建一个Java自定义Kafka Connect源任务听起来很合理。 然而，Kafka Connect code表明，在任务的生命周期内，每个正在运行的任务都被分配了自己的线程。因此
浏览 49提问于2021-07-28得票数 2
我主要想做的是使用Docker Compose拥有多个Kafka Connect实例。我想让ksqlDB使用这个集群。目前，它们都在一台机器上运行，但最终我希望将其部署到多节点环境中。我的问题是ksqlDB显然找不到Kafka Connect集群。还有KSQL_KSQL_CONNECT_URL，代表单个Kafka Connect实例的URL。我找到了，我认为它做了我想做的事情: ksqlDB和多个Kafka
浏览 5提问于2021-05-13得票数 0
我们正在使用increment+timestamp模式下的JDBC源连接器构建Kafka-connect应用程序。我们尝试了独立模式，它可以像预期的那样工作。现在，我们想切换到分布式模式。当我们有一个单一的Hive表作为源时，任务将如何在工作人员之间分配？
我们面临的问题是，当我们在多个实例中运行应用程序时，它会查询每个实例的表，并再次获取相同的行。并行在这种情况下会起作用吗？
浏览 4提问于2018-08-29得票数 0
是针对每个批处理间隔查询偏移量还是以不同的频率查询偏移量？
浏览 1提问于2015-11-17得票数 1
4回答
我需要从Kafka主题获取消息，并通过基于HTTP的API通知其他系统。即从topic获取消息，映射到第三方API并调用。我打算为此编写一个Kafka Sink连接器。对于这个用例，Kafka Connect是正确的选择，还是我应该使用Kafka客户端。
浏览 2提问于2016-11-20得票数 8
我们已经修改了Kafka，以支持自定义转换器，该转换器将将单个SinkRecord转换为多个SinkRecords，从而支持事务性插入。在创建接收器时，可以在配置属性中指定实现SinkRecordConverter的类。然后，我们尝试用这个自定义转换器的实现打包一个uber jar，并尝试以两种方式部署它：
我们放置在kafka-connect jdbc的同一个文件夹中。我们将connect-distribute
浏览 1提问于2018-02-15得票数 0
我正在使用Debezium SQL Server Source connector通过CDC将数据推送到Kafka。SQL Server表中的数据是连续插入的。当Kafka宕机时，数据还会插入到该表中吗？如果是这样，当我的Kafka打开时，如何获得这些记录？
浏览 13提问于2020-05-22得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
