我已经成功地建立了卡夫卡连接在本地的分布式模式与汇合BigQuery连接器。这些主题是由另一方提供给我的；我只是简单地将这些主题移到本地机器上的Kafka中，然后转移到接收器连接器(从而进入BigQuery)。
由于主题是由其他人创建的，所以架构注册表也由它们管理。但是，所发生的情况是，Con
浏览 6提问于2022-03-12得票数 1
1回答
是否有办法在模式注册表中创建主题的“别名”或“软链接”？我问这是因为对于某些kafka主题，它们共享一个共同的模式，例如主题名称：模式主题：当我设置合流s3接收器连接器时，连接器avro转换器遵循topicName
浏览 5提问于2022-11-23得票数 0
回答已采纳
这是这个问题的后续问题：Kafka Connect BigQuery Sink Connector requests incorrect subject names from the Schema Registry当尝试在我们的Kafka (Avro)事件上使用confluentinc/kafka-connect-bigquery时，我遇到了以下错误： org.apache.kafka.connect.errors.DataException
浏览 11提问于2021-05-04得票数 0
回答已采纳
1回答
我们希望使用Kafka连接接收器连接器，以便将消息从Kafka复制到Mongo。在我们的用例中，我们有多个主题，每个分区都有一个分区(主题的名称可以重新定义，例如topic.XXX.name)。这些主题的数量在不断增加。我想知道Kafka连接架构是否适合这个用例。如果是这样的话，如何配置它的高
浏览 7提问于2022-06-10得票数 1
我已经创建了一个NiFi流，它最终将json记录发布为带有Avro编码值和字符串键的记录，使用模式中的模式。这是 in NiFi。我现在试图使用Kafka (connect-standalone)使用JdbcSinkConnector将消息移动到PostgreSQL数据库，但得到了以下错误：rest.host.name=localhostplugin.path=sha
浏览 0提问于2018-12-11得票数 0
回答已采纳
我尝试使用Confluent BigQuerySinkConnector创建Kafka到BigQuery的数据管道。测试环境是一个 docker容器。我在上面添加了(它不是默认存在的)。我在谷歌BigQuery端做的所有定义(我希望...)。但它只是给出了Schema Registry错误，我不能理解为什么会发生这种情况。我在BigQuery dataset上创建了一个名为rest_avro的表。连接器运行时没有错误。
我<e
浏览 0提问于2020-08-19得票数 1
当尝试在我们的Kafka (Avro)事件上使用confluentinc/kafka-connect-bigquery时，我遇到了以下错误： org.apache.kafka.connect.errors.DataExceptionfor id 619
Caused by: io.confluent.kafka.schemaregistry.client.rest.exceptions.RestClientException:是的，在模式注册表中没有主
浏览 58提问于2021-05-03得票数 0
回答已采纳
我是卡夫卡联系的新手。我有一个用法如下：
员工和部门的架构已在架构注册表中注册。使用Kafka接收器连接器，是否可以根据模式分离每个实体的数据并写入相应的表--例如，进入主题的雇员数据应该转到employee表和部门数据
浏览 1提问于2018-07-15得票数 1
我正在尝试使用connect MongoDB kafka连接器接收器( MongoDB Connec-MongoDB-1.7.0)将avro事件从kafka写到MongoDB。:引起的未能反序列化主题客户端顺序请求到Avro:的数据。事实上，这个主题或这个id并不存在于模式注册表中，实际上我拥有的最高id是10，并且我有一个名为<my-avro-schema-name>
浏览 4提问于2022-04-13得票数 0
1回答
如何在消费前获取模式？
、、、
我使用python confluent-kafka 1.5.0和模式注册表来消费来自kafka的avro消息。
我只是消费者，没有访问管理生产者或经纪人或其他东西。我知道主题名称，并从消息字段中获取主题和命名空间，还可以在架构注册表客户端、sr客户端使用schema_id从消息中获取架构。根据我的目标，在我开始消费之前，我需要方法获取模式(只有id或主题名
浏览 10提问于2021-10-09得票数 0
org.apache.kafka.connect.runtime.WorkerSinkTask.execute(WorkerSinkTask.java:166)\n\tat
org.apache.kafka.connect.runtime.WorkerTask.doRunjava.lang.Thread.run(Thread.java:748)\n","id":0,"worker_id":"10.192.226.24:8083"}],"type":"sink&
浏览 2提问于2018-04-17得票数 0
1回答
我正在尝试将运行中的红熊猫卡夫卡集群连接到一个红熊猫模式注册中心，以便模式注册表验证来自主题的传入消息和/或从主题读取的消息。我能够向注册表添加一个模式，并使用curl请求读取它，还可以将消息添加到我在红熊猫集群中创建的kafka主题中。
我的问题是，如何使用kafka集群中的主题实
浏览 6提问于2022-01-06得票数 0
我有jdbc接收器将数据从Kafka传输到Oracle数据库。我的接收器属性: "name": "j
浏览 4提问于2020-04-13得票数 1
回答已采纳
我想使用JSON和没有模式的JDBC接收器连接器。他们编写()：
key.converter=org.apache.kafka.connect.json.JsonConverter value.converter当为源连
浏览 9提问于2021-07-16得票数 2
回答已采纳
到目前为止，我所得到的唯一答案是，您必须给模式和主题以相同的名称，然后它应该将它们连接在一起。curl -X POST -H "Content-Type: application/vnd.kafka.json.v2+json" -H "Accept: application/vnd.kafka.v2+json" -H "Accept: application/vnd.kafka</e
浏览 1提问于2020-01-05得票数 1
回答已采纳
1回答
我正在尝试将数据从主题(json数据)写入MySql数据库。我想要一个JDBC连接器。我唯一能找到的文件就是这个。“接收器连接器需要了解模式，因此您应该使用合适的转换器，例如Schema注册表附带的Avro转换器，或者启用模式的JSON转换器。Kafka记录键(
浏览 0提问于2019-01-23得票数 3
回答已采纳
我试图理解Kafka Streams API是如何与Schema Registry一起工作的。我知道在设置应用程序时必须指定Schema Registry URL，但我无法理解如果不指定主题名称或ID，应用程序如何从注册表检索正确的模式。
它使用主题名称检索模式？
浏览 2提问于2019-11-25得票数 2
1回答
) java.io.IOException:连接到3被断开
经纪商之间频繁的断开，这可能是在没有自动恢复的情况下不断收缩和扩展ISRs的原因。架构注册表超时。--我不知道模式注册表是如何受到影响的。我没看到服务器上有太多负载。我是不是遗漏了什么？是否应该将负载均衡器用于模式注册表的多个实例作为故障转移？。主题__schemas中只有28条消息。确切的错误消
浏览 0提问于2018-12-13得票数 5
我正在使用错误的转换运行接收器，这会在接收器mysql表中产生错误的数据，但当我使用PUT rest API更正接收器配置并运行它时，它运行成功但没有更新接收器表中的现有数据？
浏览 0提问于2019-08-23得票数 2
我们已经为我们的产品实现了一个名为Ampool ADS的kafka接收器连接器，它将来自kafka主题的数据摄取到相应的ampool表中。主题和表通过它们的名称映射。我需要将单个主题(从topic ->表中摄取)处理到一个专用的接收器任务中。因此，例如，如果我的配置包含3个不同的
浏览 2提问于2017-04-24得票数 0
云服务器
ICP备案
对象存储
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号