如何设置JDBC源连接器(kafka)的key？
JDBC源连接器（kafka）的key可以通过以下步骤进行设置：
- 首先，确保你已经安装了Kafka和相应的JDBC驱动程序。
- 在Kafka的配置文件中，找到并编辑
connect-standalone.properties或connect-distributed.properties文件，具体取决于你是使用单节点还是分布式模式。 - 在配置文件中，找到并设置以下属性：
key.converter：指定用于将消息键转换为Kafka Connect的格式的转换器。常见的转换器包括org.apache.kafka.connect.storage.StringConverter和org.apache.kafka.connect.json.JsonConverter。key.converter.schemas.enable：指定是否启用键的模式。如果设置为true，则键将包含在带有模式的消息中。value.converter：指定用于将消息值转换为Kafka Connect的格式的转换器。同样，常见的转换器包括org.apache.kafka.connect.storage.StringConverter和org.apache.kafka.connect.json.JsonConverter。value.converter.schemas.enable：指定是否启用值的模式。如果设置为true，则值将包含在带有模式的消息中。
- 保存并关闭配置文件。
设置JDBC源连接器（kafka）的key的示例配置如下：
key.converter=org.apache.kafka.connect.storage.StringConverter
key.converter.schemas.enable=false
value.converter=org.apache.kafka.connect.storage.StringConverter
value.converter.schemas.enable=false这样设置后，JDBC源连接器（kafka）将使用StringConverter将消息键和值转换为Kafka Connect的格式，并禁用模式。
关于腾讯云相关产品，腾讯云提供了一系列与云计算相关的产品和服务，包括云服务器、云数据库、云存储、人工智能等。你可以通过访问腾讯云官方网站（https://cloud.tencent.com/）了解更多关于腾讯云的产品和服务信息。
相关·内容
2回答
有一项要求，即来自应用程序的数据必须与数据仓库尽可能接近实时地同步(延迟3-5分钟以上的所有内容都是不可接受的，实时复制将是最好的)。Citus是Postgres的扩展，你能把它当作一个普通的Postgres数据库吗？如果是，那么逻辑复制理论上应该工作，但是它如何处理分布式表呢？如果逻辑复制不能工作，那么如何从Postgres流数据？我是否需要将逻辑级别的WAL流到Kafka中，然后编写自定义逻辑将其转换为目标数据库上的</e
浏览 0提问于2021-02-04得票数 0
我正在使用Kafka Source JDBC connector从数据库表中读取数据，并将其发布到主题test-mysql-petai。NULL | |我需要id字段的值作为主题的关键字我尝试向jdbc连接器属性添加转换。$Key
transforms.extractInt.field=id
浏览 55提问于2020-05-16得票数 3
回答已采纳
我正在使用kafka源连接器对kafka进行mysql连接。一切都很好。现在我需要传递key.serializer和value.serializer来加密数据，就像在上显示的那样。POST API启动源连接器 "name": "jdbc-sour
浏览 1提问于2020-01-07得票数 0
回答已采纳
1回答
我刚刚使用postgres源连接器将我的kafka连接到postgres。: {"userid": 5, "id": 6, "title": "ipsum", "body": "cupidatat non proident"}
如何从该主题创建流，以便这些值可以像最初在数据库表中一样被分隔到各自的列中附加问题:在创建源连接器时，有没有
浏览 1提问于2020-04-02得票数 0
我正在使用Landoop Kafka docker图像。我使用它的UI来创建jdbc源和jdbc接收器连接器，或者我也可以使用Kafka Rest Api来创建连接器。我有多个jdbc源连接器使用相同的连接url、用户名和密码。无论何时更改源数据库凭据，目前我都必须单独更改所有连接器。有没有办法只外部化这些属性，让每个连接器都有
浏览 0提问于2018-12-14得票数 0
我使用Kafka Connect添加了JDBC Source Connector，Kafka Connect从MySQL表中获取数据。我尝试过重启Kafka Connect。下面是我的JDBC源连接器配置："name": "kb_yp_loan",
"connector
浏览 4提问于2019-11-04得票数 0
我尝试在sqlite中建立一个包含两个表的数据库。我的表中有一次有一个时间戳列。我正在尝试实现时间戳模式来捕获数据库中的增量更改。Kafka连接失败，错误如下：CURRENT_TIMESTAMP\E(\p{Nd}++)配置：
浏览 1提问于2019-02-04得票数 1
1回答
我们正在开发一个SAAS系统，在这个系统中，我们最初使用MySQL作为DB，但随着数据的增长，我们的数据列表变慢了，所以为了解决这个问题，我们已经使用了Mongo DB，我们已经在其中存储了准备好的JSON，我们需要显示一段时间(与MySQL的所有连接)，它工作得很好
我们用java编写了一个调度程序，它每2分钟运行一次，并将修改后的记录从MySQL更新到mongo。最初，它工作得很好，但随着时间的推移，数据和它的速率增加，它失败了很多次，所以我们决定寻找任何可以从My
浏览 14提问于2020-02-04得票数 0
1回答
我正在使用JDBC源连接器将数据从Oracle传输到Kafka topic。我想使用JDBC源连接器将10个不同的oracle表转移到相同的kafka主题，并在消息中的某个地方提到表名(例如: header)。有可能吗？
浏览 4提问于2021-05-14得票数 0
2回答
JDBC汇流连接器模式
、、、
我正在使用JDBC kafka源连接器中的自定义查询，任何人都可以告诉我在JDBC kafka源连接器中使用自定义查询时的模式是什么，如果我使用批量模式，那么它将重新插入kafka主题中的所有数据。
浏览 0提问于2019-05-29得票数 1
回答已采纳
2回答
我正在实现基于CDC的Postgres和Oracle数据库之间的复制。对于源连接器，我使用的是Debezium的Postgres连接器和汇连接器--Confluent的JDBC sink连接器。如何在JDBC接收器连接器中动态设置配置，以便不需要在transforms.route.replacement？中设置
浏览 5提问于2021-04-01得票数 1
我刚接触过Kafka connector，并试图为我的定制JDBC源连接器(从oracle DB读取)构建确认机制。因此，每当数据被添加到Kafka主题时，我都希望更新我的源DB表中的状态/偏移量。Kafka connect的汇合文档提到了两个方法:提交和commitRecord，但是声明“API是为具有消息确认机制的源系统提供的”(r
浏览 3提问于2021-02-10得票数 0
我有这个debezium源连接器和一个jdbc接收器连接器，如下所示： "name": "smartdevsignupconnector111", "", "key.converter": "org.apache.kafka</em
浏览 9提问于2022-11-12得票数 1
回答已采纳
要求:我有不同的微服务生产数据给卡夫卡。我想收集信息，进行聚合，并为报告构建表。寻找帮助来理解连接的最佳方式。
浏览 4提问于2019-12-03得票数 2
回答已采纳
1回答
我们需要使用JDBC连接器从RDBMS读取数据，然后在将数据推送到Kafka之前使用我们的自定义加密。并在输出时对数据进行解密，然后将其推送到后续接收器。为了实现这一点，我们是否需要提供以下的自定义实现( JDBC连接器属性的一部分)：
"key.converter": "io.confluent.connect.avro.AvroConverter",==>"key</
浏览 1提问于2018-04-10得票数 0
我们正在使用increment+timestamp模式下的JDBC源连接器构建Kafka-connect应用程序。我们尝试了独立模式，它可以像预期的那样工作。现在，我们想切换到分布式模式。当我们有一个单一的Hive表作为源时，任务将如何在工作人员之间分配？
我们面临的问题是，当我们在多个实例中运行应用程序时，它会查询每个实例的表，并再次获取相同的行。并行在这种情况下会起作用吗？如果
浏览 4提问于2018-08-29得票数 0
示例JDBC Sink连接器Config "value.converter": "org.apache.kafka.connect.json.JsonConverter", "key.converter.schemas.enable":
浏览 4提问于2020-11-24得票数 0
我想使用JSON和没有模式的JDBC接收器连接器。他们编写()：
key.converter=org.apache.kafka.connect.json.JsonConverter value.converter=false
当属性key.con
浏览 9提问于2021-07-16得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
