我遇到了这样一种情况:我需要在Kafka Connect记录中插入一个新字段，但似乎InsertField转换仅限于静态值。https://docs.confluent.io/current/connect/transforms/insertfield.html 有没有办法根据记录中的其他字段添加动态值？之所以需要这样做，是因为我正在使用JDBC Source和Sink连接器在两个数据库之间传
浏览 24提问于2020-06-09得票数 2
回答已采纳
我正在尝试使用InsertField卡夫卡连接转换和rabbitmq连接器。"InsertField", }
我还尝试
浏览 3提问于2022-10-18得票数 0
回答已采纳
我同时使用了S3和JDBC接收器连接器，并且我在存储数据时遇到了一些奇怪的行为。为了进行一些调整，我真的希望将Kafka摄取时间或记录产生时间保存到存储在Sink系统中的数据中。我使用的是Confluent连接器，但如果它允许我这样做，我也可以使用其他连接器，如Camel。 有人能在这方面给我一些建议吗？： "transforms": "InsertField",
"transforms.Ins
浏览 6提问于2020-12-08得票数 0
回答已采纳
我正在使用properties/json文件配置连接器，在从源连接器读取消息时，我尝试添加一个时间戳列，其中包含kafka时间戳，但没有成功。我尝试过添加transforms，但是它总是null，我的接收器连接器“大查询”返回了一个错误
transforms=InsertFieldtransforms.InsertField.timestamp.field=fieldtim
浏览 0提问于2018-11-15得票数 1
回答已采纳
使用BigQuery Sink，是否可以将标题作为BigQuery中的字段？我们的生产者发送公共的头(键作为字符串值作为字节数组)。用header.converter进行实验"header.converter": "org.
浏览 4提问于2022-07-14得票数 0
回答已采纳
问题
...InsertField$Key和...InsertField$Value有什么区别，我们什么时候使用？(我认为对于某些转换，它可能在键或值
浏览 1提问于2019-12-26得票数 0
1回答
我正在尝试设置一个Debezium MySQL源连接器。我的目标是为每个数据库有一个主题，所以我正在研究利用主题的可能性，这样一个主题可以包含不同的消息类型，并且它们的模式可以存储在中。按照这里的几个答案，我已经将密钥和值转换器主题名策略设置为io.confluent.kafka.serializers.subject.TopicRecordNameStrategy。要将来自同一模式的所有消息重新路由到同一个主题，我将使用以下配置： "name": "aws-db-connector&
浏览 22提问于2022-06-03得票数 2
我正在用confluent.cloud(Kafka)创建弹性接收器连接器。在这里，如果我使用变换，它是不工作的。卡夫卡(confluent.cloud)会支持转换吗？"AVRO", "name": "ElasticConnectorTest5",
"kafka.api.key&quo
浏览 3提问于2021-05-25得票数 1
2回答
早上好 当我使用与配置单元集成的HDFS2连接器接收器时，数据库表将获取主题的名称。有没有办法选择表名？": "org.apache.kafka.connect.transforms.InsertField$Value", "value.convert
浏览 12提问于2021-01-11得票数 0
ReplaceField转换仅用于替换或屏蔽字段名，还是可以使用某些表达式使用静态值更改字段的值？
在发表到卡夫卡主题之前，我需要将两个字段的价值连接起来。
浏览 1提问于2018-11-09得票数 0
我正在尝试使用JDBC连接器将数据写入雪花，但我一直收到下面的错误，提示在数据库中找不到表(由于雪花不支持自动创建，所以我禁用了它)。Executing stage 'TASK_PUT' with class 'org.apache.kafka.connect.sink.SinkTask'.(WorkerSinkTask.java:581)
at org.apache.kafka.connect.runtime.WorkerSinkTask.poll(WorkerSinkTask.j
浏览 1提问于2021-11-08得票数 2
在担心密钥之前，我可以使用HdfsSinkConnector将Avro值保存在datalake上的文件中。为此，我使用了kafka-connect-transform-archive，它将字符串键和Avro值包装到一个新的Avro模式中。 这很有效..。因此，这两种情况是: 1)仅保存值，每个文件中的值的数量由flush.size确定；2)保存键和值，每个文件只包含一条消息和flush.size被忽略。"transforms": &
浏览 9提问于2019-04-26得票数 2
我正在尝试从一个kafka主题做一个简单的Sink，比如INSERT INTO table SELECT * FROM topic，但也添加了一个值为dateof(now())的列insert_timestamp在KCQL中为接收器连接器使用像这样的数据库函数是可能的吗？我可以以某种方式将函数dateof(now())写入主题，而不是简单地尝试将值作为字符串写入列吗？或者我可能需要编写一个自定义的接收器连接器来支持这一点？我会在列上使用默认值，但Cas
浏览 1提问于2018-03-08得票数 0
我正在使用和Kafka连接来进行镜像，并且我尝试使用InsertField转换在记录中添加数据，因为它们是代理的。我的配置如下所示：topics=.*
source.cluster.aliasvalue.converter=org.apache.kafka.connect.converters.ByteArrayConverter
浏览 2提问于2020-11-27得票数 2
回答已采纳
我已经配置了debezium mysql连接器，我需要在有效负载中将additonal字段作为表名。要实现这一点，我需要做哪些配置更改？
浏览 0提问于2019-03-27得票数 0
回答已采纳
如何使用kafka从Kafka消息中检索传入的标头，以便将其存储为mongodb Sink连接器到MongoDB的附加数据字段。 // incoming kafka value "msgId" : "exampleId"如何获得原始标头header_foo ?transforms": "In
浏览 10提问于2020-10-11得票数 5
我使用JDBC kafka连接器从oracle获取数据到kafka主题。我有用小写字母定义的主题名称。但是，由于默认情况下属性是在引号中定义的，因此Oracle将所有内容都视为区分大小写。
浏览 0提问于2019-05-02得票数 3
我尝试使用新的卡夫卡消费者步骤的五角壶8，但我不能加载任何数据。当我使用它时，它总是像阅读一样，但我看不到任何数据。
有没有关于如何读取数据的教程或例子？
浏览 0提问于2017-12-18得票数 2
我已经实现了一个Kafka Connect JDBC Source连接器，它连接到Oracle-Database，并将数据写入Kafka-Topic。目前，我已经在设置value.converter.schemas.enable=false的情况下设置了选项value.converter=org.apache.kafka.connect.json.JsonConverter该选项允许将JSON数据写入Kafka主题(顺便说一句，它工作得很好)，但不包括在将数据发送到Kafka</
浏览 3提问于2021-02-18得票数 0
1回答
目前是否可以在JDBC Sink Connector上使用内置转换来将这两个Avro字段合并到单个数据库列中(通过concat，或者使用分隔符concat的额外积分，例如.或:)？我熟悉一些基本的转换，例如： transforms=myTransformtransforms.myTrans
浏览 11提问于2020-09-28得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
