来自Kafka connect的MongoSource创建奇怪的_data密钥
Kafka Connect是一个用于连接Kafka和外部系统的工具，它允许将数据从外部系统导入到Kafka或将数据从Kafka导出到外部系统。MongoSource是Kafka Connect的一个插件，用于从MongoDB数据库中读取数据并将其发送到Kafka主题。
关于"奇怪的_data密钥"，这可能是指在使用MongoSource插件时出现的一个问题。在Kafka Connect中，配置文件中的密钥（key）通常用于指定数据的字段名，而"_data"可能是一个特定的字段名。然而，具体情况可能因使用的版本和配置而有所不同。
为了解决这个问题，可以尝试以下步骤：
- 检查配置文件：确保在配置文件中正确地指定了MongoSource插件的相关配置，包括MongoDB的连接信息、数据库和集合名称等。
- 检查数据模式：MongoSource插件通常会根据MongoDB中的数据模式自动创建Kafka消息的键值对。如果"_data"出现在数据模式中，可能是因为MongoDB中的某个字段名为"_data"，可以尝试修改MongoDB中的字段名，或者在配置文件中指定其他字段作为键值对的键。
- 查看日志信息：查看Kafka Connect的日志信息，以了解更多关于"_data"密钥的错误或警告信息。根据日志信息，可以进一步定位问题所在并采取相应的解决措施。
总之，对于Kafka Connect的MongoSource插件创建奇怪的"_data"密钥，需要仔细检查配置文件、数据模式和日志信息，以找出问题的根源并进行相应的调整和修复。
腾讯云相关产品和产品介绍链接地址：
- 腾讯云消息队列 CKafka：https://cloud.tencent.com/product/ckafka
- 腾讯云数据库 MongoDB：https://cloud.tencent.com/product/mongodb
相关·内容
我正在使用具有以下配置的KafkaConnect - MongoSource： curl -X PUT http://localhost:8083/connectors/mongo-source2/config", "value.converter":"
浏览 13提问于2019-12-21得票数 2
latest
image: confluentinc/cp-schema-registry:latest
image: confluentinc/cp-kafka-connect:latest
image: confluentinc/ksqldb-server:latest Kafka主题内容来自kafka connect (使用debezium)。我尝试查看来自ksqldb-serv
浏览 84提问于2020-08-29得票数 2
2回答
我有一个Kafka连接源和接收器连接器，用于将数据放入Kafka中并将其取出来。我正在使用docker-compose运行Kafka和Kafka Connect，它在分布式模式下运行connect。确保在connect启动时它能找到我的插件，但它实际上不会做任何事情，除非我对JSON执行POST操作，包括/connectors中的配置。我有一个包含配置的属性文件，我尝试将它放在/etc下，在那里我
浏览 21提问于2019-02-26得票数 3
回答已采纳
1回答
几天来，我一直在努力将来自Mqtt Source Connector的ByteArray值转换为字符串。我们的独立配置有以下参数： 我们的独立属性文件如下所示： # The converters specify the format of data in Kafka and how to translateit into Connect data.我们尝试做的是更改参数，如下所示： converter.encoding=UTF-8
v
浏览 29提问于2021-09-23得票数 0
我使用Kafka连接器作为源连接器。该文档提供了一种使用REST API管理的方法。
如果kafka-connector已经启动并运行，并且我们尝试创建一个新的连接器(实例)，那么这是可行的。但是在Kafka Connect worker本身启动期间，如果我们需要在分布式属性文件中传递一些凭据，比如SSL证书密码。是否可以使用kafka- FileConfigProvider提供的连接，或者通过外部化configPr
浏览 0提问于2020-06-16得票数 0
2回答
我正试图为卡夫卡连接创建一个赫尔姆图表。为了测试的目的，并找出我的确切错误，我没有使用我的访问密钥和秘密访问密钥的秘密。由于错误，我的舵图失败了：Error: releaseloping-grizzly failed: Deployment.apps "
浏览 0提问于2018-10-22得票数 4
回答已采纳
类中所定义的那样Exception in thread "streams-app我尝试发布主题中的键模式和值模式的新版本，使用表名作为模式名，并删除没有\"name\":\"ConnectDefault\",\"namespace\":\"io.confluent.connect.avr
浏览 4提问于2017-11-03得票数 2
我正在使用的测试版
这是我的连接独立配置
# The convertersspecify the format of data in Kafka and how to translate it into Connect data.Offset and config data is never vi
浏览 0提问于2019-07-26得票数 2
1回答
我正在使用Kafka Connect来处理来自我的Kafka主题的消息，当我收到一个包含Avro消息的SinkRecord时，我得到的值是" Struct“类型的，这是特定于Kafka Connect"org.apache.kafka.connect.data.Struct”的东西。然而，我更感兴趣的
浏览 17提问于2020-10-28得票数 1
回答已采纳
我使用mongo源代码来监听mongo change stream，并将所有事件放入kafka中，但我绞尽脑汁想要找到一种从事件中提取“真正”密钥的方法。我尝试了转换，但它不起作用，给了我错误：{ "_<em
浏览 5提问于2019-12-24得票数 2
我是第一次使用Kafka Connect。
场景:我们希望在Kafka中导出存储在多个主题(好的数字> 400)中的数据，并将这些数据转储到Elastic Search Indexes中。我们公司的Kafka是融合的Kafka，它是Kerberized的。我能够通过Kafka API编写生产者和消费者，因为我们知道代理和密钥表文件。Ques -有没有可能通过在我们的<
浏览 5提问于2020-06-18得票数 0
2回答
我想重置AerospikeSink卡夫卡连接器偏移量，我是通过删除连接器消费者组(connect-*)偏移量，然后重新创建它。当我用earliest策略重新创建它时，它使用正确的偏移量重新创建，但是，当任务状态从tasks = []变为RUNNING任务时，它将从连接器的上一个实例到达的点继续处理，这会阻止从开始读取卡夫卡的所有消息注意:创建具有新名称的新连接器的没有解决问题。在重置补偿之前：
浏览 13提问于2021-08-13得票数 2
回答已采纳
Kafka Connect的REST API未经过安全和身份验证。由于它未经过身份验证，因此任何人都可以轻松访问连接器或任务的配置。由于这些配置可能包含在SourceConnector情况下如何访问源系统，在SinkConnector情况下如何访问目标系统，是否有标准方法来限制对这些API的访问？
浏览 0提问于2017-07-22得票数 10
对于托管在合流云中的Kafka集群，有一个审计日志集群将被创建。似乎可以将Sink连接器连接到这个集群中，并将事件从“聚合-审计-日志事件”主题中提取出来。org.apache.kafka.common.errors.TopicAuthorizationException: Not authorized to access topics: [connect-offsets]offset
浏览 3提问于2021-05-26得票数 0
回答已采纳
7回答
我试图在循环中加载数据文件(以检查统计数据)，而不是在Kafka中加载标准输入。下载Kafka后，我执行了以下步骤：bin/zookeeper-server-start.sh config/zookeeper.propertiesbin/kafka-server-start.sh config/server.propertiesbin/kafka-top
浏览 1提问于2016-02-13得票数 5
我写了一个卡夫卡节点的消费者。如果主题中有任何可用的消息，这是非常好的，但是如果主题中没有可用的新消息，则会永远阻塞。如果在10秒的指定时间内没有收到消息，我希望关闭使用者并调用回调函数。在nodejs中有处理此场景的方法吗？
浏览 8提问于2022-07-07得票数 0
我正在使用Kafka Connect加快速度。尝试使用Kafka Connect Elasticsearch Service接收器连接器将我们的数据从Kafka移动到Elasticsearch。我有一个处理流，看起来像这样： 来自S3的文件记录->来自发布到->kafka主题的源应用程序的自定义处理->Kafka连接->弹性搜索 这适用于<
浏览 23提问于2021-04-07得票数 0
回答已采纳
1回答
星星之火:找不到表格或视图
、、、、
location '/data/kafka-connect/topics/table_Y'hadoop fs -ls /data/kafka-connect/topics/table_Ydrwxr-xr-x - kafka hdfs 0 2018-09-11 17:24 /data/
浏览 1提问于2018-09-20得票数 1
回答已采纳
2回答
我正在尝试使用docker实现到mongodb和mysql的kafka连接。
卡夫卡连接MongoDB:
volum
浏览 0提问于2019-08-18得票数 2
当使用来自ksql的数据时，它显示如下：FormatStruct{customerid=10001}，我希望密钥为10001 at org.apache
浏览 6提问于2020-05-02得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
