我有3个数据源，它们提供了访问它们的api，每个数据源都提供了一些信息，我想处理所有这三个请求，并将它们保存在数据库中的单个请求中。所以我的问题是，如果所有这些源都有一个公共ID，并将其保存在数据库中并向下游系统发送单个请求，Kafka是否可以合并这些请求？
浏览 42提问于2019-05-06得票数 0
回答已采纳
我有在提到的kafka流应用程序
使用此应用程序，我可以将数据写入主题的一个分区中。如何将数据写入一个主题的多个分区？请帮帮我。
浏览 24提问于2018-01-08得票数 1
我的Kafka主题有三个分区，我想知道我是否可以从三个分区中的一个读取。我的客户是spark structured流媒体应用。 下面是我在spark中现有的kafka设置。val inputDf = spark.readStream .option("kafka.bootstrap.servers", brokers)
.option("s
浏览 15提问于2019-02-15得票数 2
回答已采纳
2回答
它们都在消费相同的Kafka主题(意味着工作方式类似于同一主题的多个消费者)。我们的要求是- Dev ENV的消费者应该只消费Dev ENV的生产者应用程序的消息。其他环境也是如此。我的问题是-我应该使用消费者端过滤吗？这能保证我们<e
浏览 0提问于2020-03-11得票数 0
我们使用spring kafka stream producer向kafka topic生成数据。当我们做弹性测试时，我们得到了下面的错误。topic1-0上收到无效的元数据错误，由于分区org.apache.kafka.common.errors.NotLeaderForPartitionException:此服务器不是该topic- partitionclie
浏览 107提问于2020-08-29得票数 1
1回答
当向kafka写入数据时，可以使用名为key的列来选择分区：.write.option("kafka.bootstrap.servers", "host1:port1,host2:por
浏览 0提问于2019-02-28得票数 1
回答已采纳
1回答
我设置了tweepy来获取tweet，并将其写入主题TWEEPY_TOPIC和从主题中读取的流。= 'TWEEPY_TOPIC', ); 还有另一个流从上面的流中读取并将其写入另一个主题(使用kafka-connect推送到STREAM ELASTIC_STREAM KAFKA_<
浏览 13提问于2020-07-11得票数 0
回答已采纳
1回答
我相信这是一个相关的问题： REPLICAS=1插入一些驻留在分区0和分区1中的模拟数据(没有真正分配，但例如)
INSERT INTO SOURCE_STREAM (FIELD_1) VALUES使用使用者
浏览 2提问于2020-05-13得票数 0
回答已采纳
我有一个流作业，它将数据写入Kafka，我注意到一个Kafka分区(#3)比其他分区接收更多的数据。188270700 | 6100140089 | 6288410789 |我找到了一个选项--使用Kafka分区数重新划分输出数据集(5)。还有其他方法来平均分配
浏览 2提问于2020-05-22得票数 1
回答已采纳
我正在尝试创建一个具有多个处理器的Kafka Stream Topology，这些处理器订阅了正则表达式模式和多个主题。org.apache.kafka</em
浏览 10提问于2021-09-24得票数 0
希望我对Hyperledger Fabric的理解是正确的，有人能解释一下，在一个有来自不同组织的同行的渠道中，他们每个人都有自己和独立的订单者，如何才能按正确的顺序进行交易？举个例子，客户端A向第一个组织的排序者发送事务T1和T2，客户端B向第二个组织的排序者发送事务T3和T4。所有这四笔交易都应该以正确的顺序在分类账中结束。
浏览 10提问于2018-02-24得票数 0
回答已采纳
3回答
在卡夫卡流中，产生/写流的规范方式是什么？在Spark中，有一个自定义接收器，它作为来自任意数据源的长时间运行适配器工作。什么是卡夫卡流中的等价物？具体来说，我不是在问如何从一个话题转换到另一个主题。这方面的文件是非常清楚的。我想了解如何写我的工人，这将是第一次写在一系列的转换为卡夫卡。builder1.<something>(<some intake worker like a spark
浏览 2提问于2016-06-29得票数 6
我有火花代码，它按照这里指定的方式将一批代码写入Kafka：
df.selectExpr("CAST(key AS STRING)", "CAST(value AS STRING)") .write \ .option("kafka.bootstrap.servers",
"host1:port1,hos
浏览 0提问于2019-05-24得票数 1
回答已采纳
2回答
我想知道关于Kafka如何维护消息序列的信息/解释，当消息被写入多个分区的topic时。例如，我有多个消息生成器，每个消息生成器都顺序地生成消息，并使用超过1个分区在Kafka主题上进行编写。在这种情况下，消费者组将如何工作来消费消息。
浏览 0提问于2016-12-01得票数 2
我只想知道如何确定Kafka中的每个主题分区占用了多少空间。使用"kafka-consumer-groups.sh“我们可以确定偏移量，但我想知道每个分区中的数据占用了多少空间。
浏览 11提问于2018-11-26得票数 0
2回答
一个关于卡夫卡的主题和划分的快速问题。假设以下场景：
问题是:每个主题中有多少分区？这是否真的取决于促进并行性的消费者<e
浏览 1提问于2018-03-01得票数 5
回答已采纳
1回答
我使用的是python 3.6.8和kafka-python=2.0.2 有没有办法从python代码中设置主题的分区数量？我的生产者代码如下所示： producer = KafkaProducer(bootstrap_servers=['localhost:9092'],value_serializer=lambda x:
produc
浏览 19提问于2020-10-20得票数 0
回答已采纳
Kafka在0.10版本推出了Stream API，提供了对存储在Kafka内的数据进行流式处理和分析的能力。小白一名，各位大佬能给我解释一下流式计算、Kafka Streams的特点和架构吗？谢谢！
浏览 2190提问于2018-09-14
1回答
我试图使用Kafka连接来使用独立模式编写数据。我正在编写数据的主题是有多个分区。但是，数据只被写入其中一个分区。当我启动多个使用者控制台时，数据只会打印到其中一个。另一个使用者控制台只有在第一个用户控制台关闭后才能获得任何数据。我无法确定需要在配置文件中进行哪些更改才能使其写入多个<
浏览 1提问于2017-06-26得票数 0
回答已采纳
1回答
我想从套接字中获取数据，并把它放到kafka主题中，我的flink程序可以从主题中读取数据并进行处理。我可以在一个节点上做到这一点。但是我想要一个kafka集群，它至少有三个不同的节点(不同的IP地址)，并通过套接字轮询数据在节点之间分发，我不知道如何做到这一点，并更改此代码。available in the web interface
env.getConfig().setGlobalJobParameters(params
浏览 0提问于2019-01-02得票数 0
回答已采纳
云服务器
ICP备案
云直播
实时音视频
即时通信 IM
腾讯云开发者
