我正在尝试发送一条消息(json文件)到Kafka主题(发布)，并使用文件名或uuid作为kafka密钥，这样我就可以在日志中跟踪它。消息在稍后发送和使用，但我无法跟踪日志中的键，因此我可以跟踪和识别消息。目标是为每条消息提供唯一的标识符(对每个事件使用不同的文件名/uuid) 我尝
浏览 7提问于2019-05-21得票数 0
4回答
在我读过的所有Kafka教程中，他们都提到"Kafka分区是不可变的“。但是，我也从这个站点上读到，Kafka会不时地删除分区中的旧消息(取决于您在log- that命令中设置的保留时间)。您可以从下面的屏幕截图中看到，在删除分区中的重复键之后，分区中的数据明显发生了变化：所以我的问题是，说"Kafka分区是不变的“到底是什么意思？
浏览 8提问于2019-10-03得票数 1
回答已采纳
我们在执行使用Kafka连接器将来自Kafka主题的消息发送到Elasticsearch的顺序时遇到了问题。在主题中，消息的顺序是正确的，有正确的偏移，但是如果有两条具有相同ID的消息被快速地连续创建，它们就会间歇地以错误的顺序发送到Elasticsearch。在Kafka系统的</e
浏览 1提问于2019-01-17得票数 1
回答已采纳
3回答
request.getRequestTopicName(), SerializationUtils.serialize(message)); 目前，我发送的消息没有任何密钥作为键控消息的一部分我是否需要将密钥作为消息的一部分发送？作为消息的一部分，这样做是好的吗？
浏览 16提问于2015-04-08得票数 143
回答已采纳
假设您有一个由一个生产者(P1)和许多消费者(C1-C2-C3)组成的体系结构。当一个小型java客户机按顺序生成消息为M1、M2、M3和另一个java客户机(3倍扩展到另一台机器)时，将收到一条消息，然后在计算完后将消息写入数据库表。如果消费者应用程序中的计算周期不同，而最初使用的消息可能会以最后一个顺序写入同一表，则可能会导致数据不一致。
也许我遗漏了一些文档中的东西，但我想知道kafka在这种情况下如何处理一致性问题。
浏览 1提问于2018-03-04得票数 1
回答已采纳
我在Apache中建立了一个简单的管道，从twitter中提取一些tweet，并将它们转储到kafka主题中。Tweet被丢弃到主题中，没有错误，但是我不知道为什么主题消息的键没有设置。我使用了一个"EvaluateJSONPath“处理器来设置从通过"GetTwitter”处理器提取的JSON中提取的流文件的属性。如果我暂停并看到进入"publish
浏览 9提问于2021-03-27得票数 0
我有一个被压缩的主题：Topic:myTopic号码是对的，我原以为他们会在那里，但不知什么原因，他们走了。所涉专题是以紧凑的方式
浏览 0提问于2019-05-02得票数 0
回答已采纳
我的要求是使用kafka流DSL跳过或避免从输入主题接收的重复消息(具有相同的密钥)。源系统->输入主题-> Kafka流->输出主题
目前，我正在使用flatMap来生成多个有效负载密钥，但是flatMap是无状态的，因此在接收到输
浏览 1提问于2019-04-23得票数 1
回答已采纳
我在Kafka中创建了一个带有9个分区的主题，并将其命名为“test”，并在C# (.NET Core)中使用Confluent.Kafka客户端库将两个简单的应用程序组合在一起:一个生产者和一个消费者我认为在这里粘贴消费者代码没有多大意义，这是一个琐碎的‘获取消息，在屏幕上打印它’的应用程序，但是它也会打印消息来自的分区的数量。Key属性，则将所有消息发
浏览 1提问于2019-03-27得票数 2
回答已采纳
String getDeserializerClassName();
} 这很好用，但现在我想更改逻辑，让消费者从主题的特定分区消费，而不是让Kafka决定从哪个分区消费。我使用的算法与默认的kafka分区程序使用的算法相同，该算法根据密钥DefaultPartitioner.toPositive(Utils.murmur2(k
浏览 34提问于2020-03-17得票数 0
回答已采纳
我试图在Windows上安装消息队列，以测试的用途(而不是为了生产)。这是一篇好文章，但不幸的是，它已经过时了。
浏览 10提问于2014-04-16得票数 42
回答已采纳
我很难使用KStream through()方法来确保消息被分发到正确的分区。好赋值案例
<
浏览 0提问于2019-02-22得票数 0
4回答
我的用例是，我有两个或多个使用者进程在不同的机器上运行。我运行了几个测试，在kafka服务器上发布了10,000条消息。然后，在处理这些消息时，我杀死了其中一个使用者进程并重新启动它。使用者正在将处理过的消息写入文件中。因此，在消费结束后，文件显示了超过10k条消息。所以有些信息被复制了。
在使用者进程中，我禁用了自动提交。消费者手动提交抵消批处理。因此，对于例如，如果100条消息被写入文件，消费者提交抵消。当单个使用者进程运行并崩溃
浏览 0提问于2015-04-15得票数 68
回答已采纳
kafka集群中topic的分区和副本有什么区别。我的意思是两者都将消息的副本存储在一个主题中。那么真正的区别是什么呢？
浏览 0提问于2014-11-26得票数 34
3回答
我读过文章和文件，但我不知道卡夫卡是如何工作的。我脑海中有很多问题:(我想创建一个Kafka集群，并开发一些代码来准备数据工程面试。但是我被困住了。任何帮助都将不胜感激。当用户单击广告电子邮件中的链接时，浏览器将打开电子商务网站。
在此背景下，网站开发人员应向Kafka集群发送一个点击流事件，并包含相关参数(如客户id、广告id、source_medium等)。当用户加载网站时，后端开发人员如何向Kafka集群发送消息？开发人员应该发送post请求还是get请求？他们是其他的</
浏览 0提问于2019-08-14得票数 1
2回答
透明流及批处理
、、、
这些数据大多是带有纳秒时间戳的样本流，其中样本可以是从一个ADC值到一个这样的数组，通过深度结构化数据(多达数百个条目，从1位布尔到64位双精度浮动)到原始高清视频帧甚至字符串文本消息。在这篇奋进号中，我试图了解现有的分析框架，如星火、Flink、Storm等(可能是由Kafka、Pulsar、.等消息队列支持的)。可以支持一个场景，其中
数据正在流/流到平台/框架中，并附加了一个标识符，比如URL或ID之类<
浏览 0提问于2019-03-13得票数 0
回答已采纳
我发现__consumer_offsets主题日志的大小正在迅速增长，经过研究，进一步发现了容量最大的主题。我更改了这些主题的保留策略，以停止增长速度，但希望增加磁盘空间并删除__consumer_offsets主题的所有旧日志。
但这将导致所有其他主题和使用者/生产者被破坏或丢失有价值的元数据。我正在查看配置的参数，其中包括清理策略和压缩，但不确定如何
浏览 4提问于2020-05-22得票数 2
回答已采纳
16回答
我被要求评估RabbitMQ而不是Kafka，但我发现很难找到一个消息队列比Kafka更合适的情况。有人知道消息队列在吞吐量、持久性、延迟或易用性方面更适合的用例吗？
浏览 18提问于2017-02-10得票数 509
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
