使用debezium捕获现有数据(完全刷新)
Debezium是一个开源的分布式平台，用于捕获现有数据的变化并将其转换为可观察的事件流。它可以与各种数据库系统集成，包括MySQL、PostgreSQL、MongoDB等。
Debezium的工作原理是通过数据库的事务日志（或称为binlog）来捕获数据的变化。它监视数据库的事务日志，并将变更事件转换为可靠的、持久的事件流。这些事件可以被其他应用程序或服务消费，以实现实时数据流处理、数据同步、数据仓库等功能。
使用Debezium捕获现有数据的优势包括：
- 实时性：Debezium能够几乎实时地捕获数据库中的数据变化，并将其转换为事件流。这使得应用程序能够及时响应数据的变化。
- 可靠性：Debezium通过监视数据库的事务日志来捕获数据变化，因此不会对数据库的性能产生显著影响。同时，它还提供了故障恢复机制，确保数据的可靠传输。
- 灵活性：Debezium支持多种数据库系统，并提供了灵活的配置选项，以满足不同场景下的需求。它还支持自定义插件，可以扩展其功能。
- 可观察性：Debezium生成的事件流可以被其他应用程序或服务消费，并进行实时的数据处理和分析。这使得数据变化可以更好地被理解和利用。
应用场景：
- 实时数据分析：通过捕获数据库的数据变化，可以将数据实时地传输到数据仓库或分析平台，以支持实时数据分析和报表生成。
- 数据同步和复制：将数据库的数据变化实时地复制到其他数据库或数据存储系统，以实现数据的同步和备份。
- 微服务架构：Debezium可以作为微服务架构中的事件源，将数据库的数据变化作为事件流进行传输和处理，以实现松耦合的微服务通信。
腾讯云相关产品推荐： 腾讯云数据库TDSQL：https://cloud.tencent.com/product/tdsql 腾讯云消息队列CMQ：https://cloud.tencent.com/product/cmq 腾讯云流计算Flink：https://cloud.tencent.com/product/flink 腾讯云数据仓库CDW：https://cloud.tencent.com/product/cdw
相关·内容
我创建了Debezium连接器，它的工作原理就像一个魅力：
{
"name": "debezium_title",
"config": {
"connector.class": "io.debezium.connector.mysql.MySqlConnector",
"tasks.max": "1",
"database.hostname": "xxx.xxx.xxx",
浏览 1提问于2021-04-23得票数 1
我们正在使用Debezium + PostgreSQL。
注意，我们得到了4种类型的事件，用于创建、读取、更新和删除- c、r、u和d。
read类型的事件对于我们的应用程序来说是未使用的。实际上，我想不出'r‘事件的用例，除非我们正在审计或镜像事务的活动。
我们在扩展方面面临困难&我怀疑这是因为网络被读类型的事件占据了。
我们如何在postgreSQL本身中过滤掉这些事件？
我从其中一个贡献者那里得到了使用snapshot.mode的线索。我想当Debezium创建快照时必须做一些事情。我想不出该怎么做。
浏览 5提问于2017-09-08得票数 0
回答已采纳
我有spring boot + mysql应用程序，现在它正在使用debezium来捕获日期更改。但是我想知道是否可以配置debezium来捕获现有数据
浏览 22提问于2019-09-02得票数 0
回答已采纳
嗨，我正在尝试使用带有aws documentdb的debezium mongodb连接器。既然文档db没有oplog，debezium是否会使用Aws文档数据库更改流？
浏览 16提问于2022-03-16得票数 0
我创建了以下Siddhi应用程序来捕获PostgreSQL数据库表中的数据更改。
@App:name('post')
@source(type = 'cdc' ,url = 'jdbc:postgresql://postgres:5432/shipment_db',
username = 'postgresuser', password = 'postgrespw',
table.name = 'public.shipments', operation = 'insert', pl
浏览 11提问于2022-08-24得票数 0
CDC表的列数比源表少。当debezium试图在Kafka中创建一个事件时，它失败了：
ArrayIndexOutOfBoundsException.
历史主题具有完整源表架构的快照。这是否是debezium的一个限制，CDC模式不能与源模式不同？
This connector will be stopped.\n\tat io.debezium.connector.base.ChangeEventQueue.throwProducerFailureIfPresent(ChangeEventQueue.java:170)\n\tat
io.debezium.connector.base.
浏览 1提问于2019-10-16得票数 0
回答已采纳
我使用Debezium与一个MariaDB数据库，我有一个问题，当涉及到日期类型字段捕获，Debezium转换成TImestamp，但与一个不正确的值，例如，对于一个值26/05/2008中必须是1211752800的TimeStamp，Debezium将其转换为值14025。预先感谢您的帮助
浏览 0提问于2019-09-10得票数 1
2回答
我在检测Postresql超级表(TimescaleDB扩展)上的更改时遇到了问题。
设置：
我安装了Postresql(ver11.10)和TimescaleDB(ver1.7.1)扩展。我有两个表，我想用Debezium(ver1.3.1)连接器监视它们，安装在Kafka上，用于CDC(捕获数据更改)。
表是table1和table2hyper，但是table2hyper是超表的。
在Kafka Connect中创建Debezium连接器之后，我可以看到创建了两个主题(每个表一个)：
(A) kconnect.public.table1
(B) kconnect.public.ta
浏览 10提问于2021-01-29得票数 2
1回答
我正在研究一个用例，我们将把数据从SQL数据库(600TB ~100个表)转换成hadoop格式。我们在SQL DB中没有启用日志。我们决定将数据复制为datamart视图，并每周刷新该视图。复制的数据将每周被删除，以便重写。
此SQL DB用于从datalake派生的报表目的。这个OLTP数据库是一个我们正在逐步取代的旧系统。每周删除复制的数据集并再次复制(刷新)。
80%的数据副本是直接的，没有transformation.20%重新设计。
我们确定了3种选择：
用于处理excludedKafka (informatica) ETL(Informatica)的AirFlow + Beam与
浏览 1提问于2020-11-17得票数 0
1回答
我有一个用例，为了遵从性的目的，我想审计另一个表中的DB表数据更改。首先，应该审计对数据的任何更改，如插入/更新/删除。我找到了不同的选项，比如 JaVers Hibernate Envers 数据库触发器 ，以及 Debezium ..。 我避免使用JaVers和Hibernate Envers，因为这不会捕获通过直接SQL查询发生的任何数据更改以及通过其他应用程序发生的任何数据更改。我看到的另一个问题是，我们需要将与审计相关的代码添加到同一事务边界中的主应用程序代码中。 我也在避免使用数据库触发器，因为我们根本没有在任何部署中使用触发器。 然后我带着Debezium离开了，它很有前途
浏览 61提问于2021-03-01得票数 1
回答已采纳
比方说，我将获得多个MySQL实例，并且必须流式传输实时数据。为此，我使用下面列出的命令在Docker Container上启动了一些服务，这些命令将我连接到示例库存数据库，并且当我在MySQL命令行客户端中执行任何DML命令时，都能够监控这些数据的变化。
但是，连接到实际的MySQL数据库并在观察器窗口中传输相同的内容所需的更改或等效命令是什么呢？
docker run -it --rm --name zookeeper -p 2181:2181 -p 2888:2888 -p 3888:3888 debezium/zookeeper:1.1
docker run -it --rm --n
浏览 2提问于2020-05-27得票数 1
我有Debezium MySQL连接器：
{
"name": "debezium_mysql",
"config": {
"connector.class": "io.debezium.connector.mysql.MySqlConnector",
"tasks.max": "1",
"database.hostname": "***",
"database.po
浏览 0提问于2021-02-16得票数 1
我正在使用Debezium (一个Kafka连接器)来捕获Postgres数据库的更改，并且从Debezium获得了一个错误。是否有人知道下面的错误意味着什么，并可能提出解决它的建议。
更多的调试信息：
我试过"schema.include.list"：“银行”和"database.include.list"：“银行”。我试过debezium/connect:1.4，它能工作.但没有使用debezium/connect:1.5+ (1.9的版本与现有版本一样高，并且不工作(与下面的错误相同)
Postgres|dbserver1|snapshot After
浏览 24提问于2022-05-09得票数 0
回答已采纳
我将迁移到kafka作为代理和debezium，以便从报告和搜索数据库的所有微服务中获取数据(ETL数据)。
有没有办法配置debezium，使其根据自定义条件(如用户或公司或行/数据的某些关键列/属性)将数据放在不同的主题上。
浏览 0提问于2019-01-24得票数 1
我在用debezium捕获mysql中的数据时遇到了问题，将数据捕获并使用kafka连接jdbc接收器将其消费到另一个mysql。
因为debezium对kafka主题产生的模式和有效负载与kafka连接jdbc接收器所期望的模式不兼容。
当jdbc接收器想要使用数据并在另一个mysql中创建记录时，我就会异常。
我该如何解决这个问题？
浏览 2提问于2017-05-14得票数 1
回答已采纳
我有一个java应用程序，我在其中使用Debezium-connector-mysql依赖项，如下所示
<dependency>
<groupId>io.debezium</groupId>
<artifactId>debezium-connector-mysql</artifactId>
<version>1.2.0.CR2</version>
</dependency>
当我尝试手动运行集成测试时，它正在运行
浏览 1提问于2020-06-22得票数 0
1回答
我正在开发一个使用将更改从MongoDB流到Kafka集群的应用程序。dr- debezium在mongo中对文档进行修改，并将卡夫卡上的整个文档存储为json。
我们有一堆老旧的、陈旧的生产数据，我们仍然希望坚持卡夫卡的原样。为了让Debezium获取文档，它们必须首先出现在OpLog中。本质上，我们需要在不更改文档上的任何数据的情况下复制生产mongo中的每个文档。我最初的想法是用它当前的内容更新一个字段：
db.contributors.update(
{},
{
$set: {
"meta.collectionName": "cont
浏览 2提问于2018-09-04得票数 1
对于SQL server中的每一次更新，debezium都会生成事件有效负载，其中包含“after”和“and”。我想摆脱‘以前’，而不使有效载荷变平。
用例
我使用debezium与Kafka和hudi，并创建了一个数据湖，我不需要删除操作，所以我跳过删除操作。
因此，我想通过消除“前”部分将有效载荷的大小减少到一半，那么我们如何才能做到这一点呢？
提亚
浏览 11提问于2022-09-30得票数 0
回答已采纳
1回答
我在容器中有Debezium，捕获PostgeSQL数据库记录的所有更改。但我无法理解关于Debezium如何工作的几件事。如果Debezium第一次启动，它将获取数据库的快照，然后根据Debezium文档启动基于WAL文件的流。
PostgreSQL通常在一段时间后清除预写日志(WAL)段.这意味着连接器没有对数据库进行的所有更改的完整历史记录。因此，当PostgreSQL连接器第一次连接到特定的PostgreSQL数据库时，它首先执行每个数据库模式的一致快照。连接器完成快照后，它将继续从快照创建的确切位置进行流更改。这样，连接器从所有数据的一致视图开始，并且不会忽略快照拍摄时所做的任何更改
浏览 15提问于2022-11-01得票数 0
回答已采纳
1回答
禁用JVM中的JMX/MBean
、、、、
我有两个Debezium SQL Server连接器，它们必须连接到一个数据库并发布两个不同的表。他们的name和database.history.kafka.topic是独一无二的。但是，当添加第二个请求(使用POST请求)时，我会得到以下异常。我不想为database.server.name使用一个唯一的值，它被反直觉地用于度量名称。
java.lang.RuntimeException: Unable to register the MBean 'debezium.sql_server:type=connector-metrics,context=schema-history,s
浏览 11提问于2022-07-24得票数 1
我使用Debezium CDC SQL Server源连接器从SQL server获取数据并将其放入Kafka中，我使用的配置是
name=ds1
connector.class=io.debezium.connector.sqlserver.SqlServerConnector
tasks.max=1
database.server.name=server2
database.hostname=localhost
database.port=1433
database.user=sa
database.password=Password!
database.dbname=demo
#tabl
浏览 0提问于2020-06-26得票数 0
我试图使用MongoDB debezium连接器从Kafka捕获数据，但是当我尝试用KafkaJS读取数据时，会出错：
KafkaJSProtocolError: The group member's supported protocols are incompatible with those of existing members
我正在使用码头图像来捕获数据。
以下是我要做的步骤：
启动动物园管理员
码头运行-it -rm-名动物园管理员-p 2181:2181 -p 2888:2888 -p 3888:3888 debezium/动物园管理员:最新消息
启动卡夫卡
码头
浏览 0提问于2019-03-27得票数 0
回答已采纳
我正在使用Mysql表上的Debezium捕获以下Kafka连接配置的changelogs到kafka：
{
"connector.class": "io.debezium.connector.mysql.MySqlConnector",
"database.hostname": "mysql",
"database.port": "3306",
"database.user": "xxxx",
浏览 13提问于2022-09-26得票数 0
回答已采纳
1回答
我们目前正在尝试使用Debezium来捕获Postgres数据库中4个表的更改。我们目前知道，对于这个用例，我们可以使用kafka-streams应用程序为KTable连接/聚合表，但是我们希望保持kafka流拓扑的简单性，所以我们的想法是使用来自Postgres的物化视图并捕获它的变化。
是否有可能做到这一点，如果是的话，我们应该如何配置它？
卡夫卡连接源配置：
{
"name": "campaign-db-source-connector",
"config": {
"connector.class": "
浏览 2提问于2019-10-24得票数 2
回答已采纳
我正在研究debezium mongodb源连接器。我能否以分布式模式在本地机器上运行连接器，方法是将kafka引导服务器地址作为远程机器(部署在Kubernetes中)和远程MongoDB url？
我尝试了这一点，我看到连接器成功启动，没有错误，只是少数警告，但没有数据从mongodb流动。
使用下面的命令运行连接器
./bin/connect-distributed ./etc/schema-registry/connect-avro-distributed.properties ./etc/kafka/connect-mongodb-source.properties
如果不是我如何实
浏览 0提问于2020-01-10得票数 3
回答已采纳
2回答
我是kubernetes的新手，我正在尝试将kafka与debezium和mysql集成。我成功地在minikube上部署了kafka和mysql，一旦我在minikube上部署了debezium yml，它就被挂起了，完全没有响应，然后我重新启动minikube，在运行完所有的pod minikube之后再次被挂起。下面是我的代码：
zookeeper服务
apiVersion: v1
kind: Service
metadata:
name: zoo1
labels:
app: zookeeper-1
spec:
ports:
- name: client
浏览 2提问于2018-12-08得票数 0
我想建立一个Kafka连接器，以便从数据库中检索记录在接近实时。我的数据库是Oracle Database 11g企业版11.2.0.3.0版，表中有数百万条记录。首先，我想使用CDC将最小负载添加到我的数据库中。其次，我希望基于某个日期之后具有值的LastUpdate字段来检索记录。
在confluent的网站上搜索，我发现唯一的开源连接器是“Kafka Connect JDBC”。我认为这个连接器没有CDC机制，当连接器第一次启动时，它不可能检索数百万条记录。我认为另一种解决方案是Debezium，但Confluent的网站上没有Debezium Oracle Connector，我相信它
浏览 2提问于2019-06-27得票数 5
我已经在UBUNTU服务器上设置了kafka debezium，并创建了sql连接器，它工作得很好。然后我创建了oracle连接器，我得到了这个错误“无法连接:无法解析Oracle数据库版本”。
我在这里严格遵循了debezium的文档。
我对以下属性的配置有疑问。
"database.server.name" Is this same as host name ????
"database.hostname" : server host name where oracle db is running (myserver.domain.com)
浏览 0提问于2021-05-18得票数 2
我试图通过以下starters使用将更改从一个数据库复制到另一个数据库：
<dependency>
<groupId>org.apache.camel.springboot</groupId>
<artifactId>camel-spring-boot-starter</artifactId>
<version>3.5.0</version>
</dependency>
<dependency>
<groupId>org.apache.came
浏览 2提问于2020-12-15得票数 0
回答已采纳
1回答
我有一个连接到SQL Server的Debezium连接器，在table.include.list配置参数中有一个表。我想添加另一个表，我已经将它添加到了table.include.list参数中，尽管我的连接器没有接收到它。
我之前的table.include.list是这样的：
"table.include.list":"dbo.Users"
我当前的table.include.list如下所示：
"table.include.list":"dbo.Users,dbo.charlie"
我重新启动了Kafka，在Debeziu
浏览 3提问于2021-07-23得票数 0
我们可以在视图或物化视图上设置CDC跟踪吗？我们使用的是汇流平台，源代码是SQL Server & CDC工具是debezium。
浏览 3提问于2020-01-09得票数 2
我让我的debezium mysql源连接器在Kafka上工作。我使用相同的数据库添加了另一个debezium mysql源连接器，但具有不同的数据格式。结果，我的第一个连接器开始显示以下错误：
[2019-07-11 10:29:09,125] ERROR WorkerSourceTask{id=debezium-connector-0} Task threw an uncaught and unrecoverable exception
(org.apache.kafka.connect.runtime.WorkerTask:177)
org.apache.kafka.connect.e
浏览 274提问于2019-07-11得票数 0
我们有一个Debezium MySQL连接器在运行，历史主题已经有了无限的保留。但是奇怪的是，连接器突然失败了，出现了以下异常
"org.apache.kafka.connect.errors.ConnectException: java.lang.IllegalStateException:
The database history couldn't be recovered.
Consider to increase the value for database.history.kafka.recovery.poll.interval.ms
我能注意到的另一件事是，由于
浏览 0提问于2020-08-11得票数 1
我正在尝试将一个postgreql (它是源)事件日志汇到一个已经创建和配置的kafka汇流云上。
FYI，我使用quay.io/debezium/connect:1.9停靠映像作为我的kafka连接服务器，使用aws数据库作为源，使用kafka汇合云主题作为接收器。
我知道属性中有CONNECT_TOPIC_CREATION_ENABLE=false = topic.creation.enable: false这样的参数可以阻止自动创建kafka主题(因为它在我的合流云代理中是不允许的)，但是我在哪里指定主题目的地名称呢？
浏览 4提问于2022-05-25得票数 0
回答已采纳
假设我们有两个微服务：service_A和service_B。
在一个Postgres服务器实例中，每个服务器都有自己的数据库(分别为db_a和db_b )(这只是一个暂存环境，因此我们没有集群)。
还有另一个服务，service_debezium (带有嵌入式Debezium v1.6.1Final)，应该侦听db_a和db_b中的变化。因此，基本上有两个Debezium引擎配置在这个服务中。
但不知何故，service_debezium不能同时收听db_a和db_b。它只因为某种原因侦听其中的一个，并且没有错误日志。
此外，如果我将service_debezium (即它的Debezium
浏览 6提问于2021-09-02得票数 1
回答已采纳
1回答
我是Debezium的新手，我希望我的Debezium Server流将事件从Postogres更改为Redis (流)。
在日志中，它似乎读取了数据库中的更改，但没有在redis中发布任何内容。
我的配置application.properties
debezium.sink.type=redis
debezium.sink.redis.address=0.0.0.0:6379
debezium.sink.redis.batch.size=10
debezium.source.connector.class=io.debezium.connector.postgresql.PostgresC
浏览 13提问于2022-08-15得票数 0
我对我的卡夫卡制作人有错误。我使用Debezium Kafka连接器V1.1.0 Final和Kafka 2.4.1。对于带有pk的表，所有表都被清晰地刷新，但不幸的是，对于没有pk的表，它给出了以下错误：
[2020-04-14 10:00:00,096] INFO Exporting data from table 'public.table_0' (io.debezium.relational.RelationalSnapshotChangeEventSource:280)
[2020-04-14 10:00:00,097] INFO For table '
浏览 0提问于2020-04-14得票数 10
回答已采纳
我已经创建了一个卡夫卡生产者，从MySQL数据库读取网站点击数据流，它工作得很好。我发现我也可以使用kafka connect或debezium将kafka连接到MySQL数据源。我的目标是使用kafka摄取数据，并将其发送到Storm进行消费和分析。看起来这两种方法都可以实现我的目标，但使用kafka producer可能需要我构建一个kafka服务来不断读取数据源。
对于我的数据管道，这两种方法中哪一种更有效？
浏览 1提问于2018-07-10得票数 0
[用户在上发布的问题]
我有YB Debezium运行，我看到它可以访问桌子。这是日志：
2022-07-27 21:25:56,894 INFO AbstractConfig values:
(org.apache.kafka.common.config.AbstractConfig) [pool-3-thread-1]
2022-07-27 21:27:55,147 INFO Retrieving configuration from Secret debezium-secret in namespace default (io.strimzi.kafka.AbstractKuberne
浏览 11提问于2022-09-15得票数 0
回答已采纳
嗨，我正在做server 2008 r2，我有一种情况，我想要捕获DMV的数据到一个表，我想知道什么时候DMV的表被刷新或数据刷新。因为一旦在生产环境中运行，DMV的数据就会发生变化。我想要捕获DMV中的每一个数据--请有人帮助我捕获这个数据--我在生产中需要这个数据来查看CPU，为测试团队运行的数据或查询进行读写。谢谢!进阶
浏览 0提问于2012-09-25得票数 1
回答已采纳
我们希望根据操作类型来区分Kafka(它来自Debezium)中的消息。我们正在寻找基于卡夫卡操作类型的路由消息。
Debezium发送不同类型的操作类型，如r(读)、u(更新)、删除(D)等。
就像这样
如果操作=r ->发送到桶1
如果操作= u，d ->发送到桶2
我们希望将快照和增量数据从Debezium中分离出来。
浏览 5提问于2022-07-06得票数 0
我不使用confluent，只使用apache kafka，已经添加了mongo插件，得到... / MongoSinkConnector -plugins响应，列出连接器
[
{
"class": "com.mongodb.kafka.connect.MongoSinkConnector",
"type": "sink",
"version": "1.5.0"
},
{
"class": "com.mongodb.kafka.connect.
浏览 3提问于2021-04-23得票数 1
我在StackOverflow上看到过许多帖子，人们试图从源关系型数据库中捕获数据，并使用Debezium来实现同样的目的。我正在使用SQL Server。但是，由于十进制值和时间戳值在默认情况下是编码的，因此将这些值解码为其原始形式是一种开销。我希望避免这个额外的解码步骤，但没有用。谁能告诉我如何通过Debezium导入数据，因为它是，即不序列化它。
我看过一些youtube视频，其中十进制值被提取为原始形式。对于EX-> 800.0，SQL Server通过Debezium获得800.0，而不是"ATiA“(编码)，但我不确定如何做到这一点。谁能帮我在Debezium上配置相
浏览 8提问于2021-12-02得票数 0
1回答
我试图用Debezium、mysql连接程序和kafkal来实现CDC piline，但是源代码连接程序无法在表中为插入和更新操作提供更多的支持。模式变化正反映在卡夫卡主题中。
我查过垃圾箱日志了
以下是我的源连接程序配置
"name": "user_source_v6",
"config": {
"connector.class": "io.debezium.connector.mysql.MySqlConnector",
"tasks.max":
浏览 1提问于2022-04-19得票数 1
我们使用的是一个MariaDb 10.4.14，我们使用Debezium套件来处理二进制日志。我们遇到一个问题，因为binlog中的时间戳是一个uint32，它不能提供毫秒的精度。
您知道是否可以通过更改MariaDb或Debezium中的配置来获得这种精度吗？
浏览 3提问于2020-11-16得票数 0
回答已采纳
我们有50+微服务，每个服务都有自己的数据库服务器。我将在虚拟机上实现Debezium (3个虚拟机用于分布式执行)。Kubernetes目前不在debezium的解决方案中。
因此，作为debezium的最佳实践，我可以为每个服务部署debezium连接器吗?将部署50+连接器或任何建议？
浏览 2提问于2021-07-12得票数 0
我想使用Debezium实现PostgreSQL数据库上的更改数据捕获(CDC)。现在，我还不完全理解如何处理Debezium的交易。
让我们考虑下面的示例--我在源PostgreSQL数据库中有两个表。我在单数据库事务范围内将数据插入到这两个表中。换句话说，我必须执行两个单独的INSERT语句。如果我对Debezium CDC的理解是正确的，那么它将产生两个单独的消息，分为两个单独的Kafka主题(或AWS动态流)。每个消息都将由自己的使用者使用，并在单独的事务中插入到目标数据库中。如果其中一个事务失败，另一个事务可能会成功，我将在目标数据库中遇到数据不一致状态。
Debezium是否有任何
浏览 2提问于2020-08-08得票数 1
回答已采纳
我想使用Debezium Embedded Engine和AWS Kinesis来加载PostgreSQL数据库的初始快照，然后继续执行CDC。 我知道，有了Kafka Connect，我将拥有开箱即用的事务元数据主题，以便检查事务边界。 使用Debezium Embedded Engine和AWS Kinesis (https://debezium.io/blog/2018/08/30/streaming-mysql-data-changes-into-kinesis/)在这种情况下，我是否会有Kinesis事务元数据流？另外，Debezium Embedded Engine会对现有的Po
浏览 34提问于2020-08-15得票数 0
回答已采纳
我在使用Debezium和Kafka Connect复制表时遇到了性能问题。 只有在数据库的初始快照期间才会出现复制速度较慢的情况。我测试的一个表包含340万行，复制花了2个小时才完成。 在这个阶段，整个数据库都被锁定，我无法将数据提交到当时未同步的其他表中。 我的配置(通过curl请求部署Debezium配置)： {
"name": "debezium-connector",
"config": {
"connector.class": "io.debezium.connector.mysql.My
浏览 54提问于2020-11-25得票数 0
默认情况下，Debezium使用表的主键作为消息键。例如，如果您有一张表
<code>A0</code>
使用数据
<code>A1</code>
Debezium将生成以下Kafka消息：
<code>A2</code>
问题是如何配置Debezium以使用<code>D3</code>或任何其他列作为Kafka消息密钥？
浏览 42提问于2020-03-18得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
