Kafka连接BigQuery接收器从架构注册表请求不正确的主题名称

文章/答案/技术大牛

发布

1回答

有没有办法告诉Kafka Connect中的接收器连接器如何查找模式条目

apache-kafka、apache-kafka-connect

我已经成功地建立了卡夫卡连接在本地的分布式模式与汇合BigQuery连接器。这些主题是由另一方提供给我的；我只是简单地将这些主题移到本地机器上的Kafka中，然后转移到接收器连接器(从而进入BigQuery)。由于主题是由其他人创建的，所以架构注册表也由它们管理。但是，所发生的情况是，Con

浏览 6提问于2022-03-12得票数 1

1回答

模式注册表主题别名

confluent-schema-registry

是否有办法在模式注册表中创建主题的“别名”或“软链接”？我问这是因为对于某些kafka主题，它们共享一个共同的模式，例如主题名称：模式主题：当我设置合流s3接收器连接器时，连接器avro转换器遵循topicName

浏览 5提问于2022-11-23得票数 0

回答已采纳

1回答

apache-kafka、google-bigquery、avro、apache-kafka-connect、confluent-schema-registry

当尝试在我们的Kafka (Avro)事件上使用confluentinc/kafka-connect-bigquery时，我遇到了以下错误： org.apache.kafka.connect.errors.DataExceptionfor id 619 Caused by: io.confluent.kafka.schemaregistry.client.rest.exceptions.RestClientException:是的，在模式注册表中没有主

浏览 58提问于2021-05-03得票数 0

回答已采纳

1回答

Kafka用多个分区主题连接接收器连接器

apache-kafka、apache-kafka-connect、mongodb-kafka-connector

我们希望使用Kafka连接接收器连接器，以便将消息从Kafka复制到Mongo。在我们的用例中，我们有多个主题，每个分区都有一个分区(主题的名称可以重新定义，例如topic.XXX.name)。这些主题的数量在不断增加。我想知道Kafka连接架构是否适合这个用例。如果是这样的话，如何配置它的高

浏览 7提问于2022-06-10得票数 1

1回答

Confluent BigQuerySinkConnector架构注册表错误

apache-kafka、apache-kafka-connect、confluent-platform

我尝试使用Confluent BigQuerySinkConnector创建Kafka到BigQuery的数据管道。测试环境是一个 docker容器。我在上面添加了(它不是默认存在的)。我在谷歌BigQuery端做的所有定义(我希望...)。但它只是给出了Schema Registry错误，我不能理解为什么会发生这种情况。我在BigQuery dataset上创建了一个名为rest_avro的表。连接器运行时没有错误。我<e

浏览 0提问于2020-08-19得票数 1

1回答

Kafka连接:基于模式的单个主题接收器到多个表

apache-kafka、apache-kafka-connect、confluent-platform

我是卡夫卡联系的新手。我有一个用法如下：员工和部门的架构已在架构注册表中注册。使用Kafka接收器连接器，是否可以根据模式分离每个实体的数据并写入相应的表--例如，进入主题的雇员数据应该转到employee表和部门数据

浏览 1提问于2018-07-15得票数 1

1回答

Kafka & Connect -如何修复AVRO Schema数据类型

apache-kafka、avro、apache-kafka-connect、s3-kafka-connector

设置问题我们的模式注册表中的AVRO模式不符合标准。例如，源系统中的十进制字段在模式注册表中具有基类型字符串和逻辑类型十进制。这些类型的组合在AVRO中是不允许的(十进制逻辑类型必须始终具有基本类型的修

浏览 6提问于2021-08-02得票数 0

回答已采纳

1回答

Kafka连接BigQuery接收器从架构注册表请求不存在的键主题名称

apache-kafka、google-bigquery、avro、apache-kafka-connect、confluent-schema-registry

这是这个问题的后续问题：Kafka Connect BigQuery Sink Connector requests incorrect subject names from the Schema Registry当尝试在我们的Kafka (Avro)事件上使用confluentinc/kafka-connect-bigquery时，我遇到了以下错误： org.apache.kafka.connect.errors.DataException

浏览 11提问于2021-05-04得票数 0

回答已采纳

1回答

如何在消费前获取模式？

python、apache-kafka、confluent-schema-registry、confluent-kafka-python

我使用python confluent-kafka 1.5.0和模式注册表来消费来自kafka的avro消息。我只是消费者，没有访问管理生产者或经纪人或其他东西。我知道主题名称，并从消息字段中获取主题和命名空间，还可以在架构注册表客户端、sr客户端使用schema_id从消息中获取架构。根据我的目标，在我开始消费之前，我需要方法获取模式(只有id或主题名

浏览 10提问于2021-10-09得票数 0

1回答

使用confluent_kafka为python注册架构ID和主题

apache-kafka、kafka-rest

到目前为止，我所得到的唯一答案是，您必须给模式和主题以相同的名称，然后它应该将它们连接在一起。curl -X POST -H "Content-Type: application/vnd.kafka.json.v2+json" -H "Accept: application/vnd.kafka.v2+json" -H "Accept: application/vnd.kafka</e

浏览 1提问于2020-01-05得票数 1

回答已采纳

1回答

如何将红熊猫群集和主题连接到红熊猫架构注册表？

apache-kafka、schema、confluent-schema-registry、redpanda

我正在尝试将运行中的红熊猫卡夫卡集群连接到一个红熊猫模式注册中心，以便模式注册表验证来自主题的传入消息和/或从主题读取的消息。我能够向注册表添加一个模式，并使用curl请求读取它，还可以将消息添加到我在红熊猫集群中创建的kafka主题中。我的问题是，如何使用kafka集群中的主题实

浏览 6提问于2022-01-06得票数 0

1回答

Apache产品集群设置问题

apache-kafka、apache-kafka-connect、debezium

) java.io.IOException:连接到3被断开经纪商之间频繁的断开，这可能是在没有自动恢复的情况下不断收缩和扩展ISRs的原因。架构注册表超时。--我不知道模式注册表是如何受到影响的。我没看到服务器上有太多负载。我是不是遗漏了什么？是否应该将负载均衡器用于模式注册表的多个实例作为故障转移？。主题__schemas中只有28条消息。确切的错误消

浏览 0提问于2018-12-13得票数 5

1回答

kafka连接器更新rest api不更新接收器数据

mysql、apache-kafka、apache-kafka-connect、debezium

我正在使用错误的转换运行接收器，这会在接收器mysql表中产生错误的数据，但当我使用PUT rest API更正接收器配置并运行它时，它运行成功但没有更新接收器表中的现有数据？

浏览 0提问于2019-08-23得票数 2

1回答

Kafka接收器连接-如何为每个主题(表)创建一个任务

apache-kafka、apache-kafka-connect、confluent-platform

我们已经为我们的产品实现了一个名为Ampool ADS的kafka接收器连接器，它将来自kafka主题的数据摄取到相应的ampool表中。主题和表通过它们的名称映射。我需要将单个主题(从topic ->表中摄取)处理到一个专用的接收器任务中。因此，例如，如果我的配置包含3个不同的

浏览 2提问于2017-04-24得票数 0

1回答

不带模式的json消息的Kafka* JDBC Sink连接器*

json、apache-kafka、apache-kafka-connect、confluent-schema-registry

我试图使用Postgres接收器连接器将json消息加载到Postgres数据库中。我一直在线阅读，并且只找到了在JSON消息中使用模式的选项，但是，理想情况下，我不希望在消息中包含模式。有没有一种方法可以在模式注册表中注册JSON模式并像使用Avro那样使用它？另外，我目前正在通过下载bin运行kafka，因为由于ARM兼容性问题，我在运行kafka与坞连接时遇到了几个问题。模式注册表是否有类似的安装？因为我只能选择通过汇流下载它并在码头上运行它。

浏览 2提问于2022-01-31得票数 0

1回答

卡夫卡连接变压器适用于连接转换器之前或之后。

apache-kafka、xml-parsing、jaxb、apache-kafka-connect

嗨，我试图了解卡夫卡连接变压器和转换器的流程。我正在使用fileStream源连接器和xml来执行来自xsd的模式。当我使用转换器作为字符串时，我能够解析消息，但是在kafka中，它就像字符串中的Struct={Struct={name,abcd}一样。试图了解变压器和转换器序列在源连接器上是如何工作的

浏览 3提问于2022-09-26得票数 0

回答已采纳

2回答

Subject没有配置主题级别的兼容性。

apache-kafka、apache-kafka-connect、confluent-schema-registry

我们在我们的堆栈中使用了Kafka、Kafka连接和Schema注册表。版本为2.8.1(合流6.2.1)。我们使用卡夫卡连接的信任(key.converter和value.converter)的价值: io.confluent.connect.avro.AvroConverter。它自动为主题注册一个新架构。但是有一个问题，AvroConverter没有指定新模式的主题级兼容性，

浏览 9提问于2021-10-21得票数 2

1回答

在没有模式注册表的ksqlDB中处理Avro

apache-kafka、confluent-schema-registry、confluent-platform、ksqldb

我正在使用一个Kafka部署，它是，而不是使用任何的。我正在寻找解决这个问题<e

浏览 0提问于2020-05-05得票数 0

回答已采纳

1回答

当列被移除时Kafka连接模式的演变

apache-kafka、apache-kafka-connect、confluent-platform、confluent-schema-registry

轮询从DB写入到Kafka topic.HDFS Sink连接器的数据，读取来自Kafka主题的消息，并以Avro格式写入HDFS。就像我所理解的那样。查询DB并从ResultSet.V1的JDBC元数据中生成模式col1，col2，col3.SchemaV1在模式注册表中注册。源连接器轮询来自DB的数据，并将消息写入V1模式中的Kafka<e

浏览 0提问于2019-07-17得票数 3

回答已采纳

2回答

如何在kafka接收器连接器中添加带有kafka消息时间戳的列

apache-kafka、google-bigquery、apache-kafka-connect

我正在使用properties/json文件配置连接器，在从源连接器读取消息时，我尝试添加一个时间戳列，其中包含kafka时间戳，但没有成功。我尝试过添加transforms，但是它总是null，我的接收器连接器“大查询”返回了一个错误 transforms=InsertField$Value 我的源Config Sap连接</e

浏览 0提问于2018-11-15得票数 1

回答已采纳

点击加载更多

有没有办法告诉Kafka Connect中的接收器连接器如何查找模式条目

模式注册表主题别名