Kafka Connect是否提供数据溯源？
Kafka Connect是否提供数据溯源？
提问于 2021-02-24 12:20:22
我是第一次接触kafka connect。我使用像nifi这样的工具已经有一段时间了。这些工具为审计提供了数据来源，并为理解数据发生了什么提供了其他目的。但我找不到任何与kafka connect类似的功能。kafka connect有这个功能吗？或者，在kafka connect中是否有处理数据来源的方法，以便了解数据发生了什么？
回答 1
Stack Overflow用户
发布于 2021-02-24 15:00:19
CDC工具可能有助于满足您的审计需求，否则您将不得不使用单个消息转换(SMT)来构建自定义逻辑。例如，使用Debezium连接器，您将获得每个更改事件的消息有效负载：
{
"payload": {
"before": null,
"after": {
"id": 1,
"first_name": "7b789a503dc96805dc9f3dabbc97073b",
"last_name": "8428d131d60d785175954712742994fa",
"email": "68d0a7ccbd412aa4c1304f335b0edee8@example.com"
},
"source": {
"version": "1.1.0.Final",
"connector": "postgresql",
"name": "localhost",
"ts_ms": 1587303655422,
"snapshot": "true",
"db": "cdcdb",
"schema": "cdc",
"table": "customers",
"txId": 2476,
"lsn": 40512632,
"xmin": null
},
"op": "c",
"ts_ms": 1587303655424,
"transaction": null
}
}页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/66344645
复制相关文章
相似问题
腾讯云开发者
