代表我的公司，我目前正在评估三种面向消息的中间件技术: Kafka、RabbitMQ和SQS.
谁能给我一个提示，关于Kafka VS RabbitMQ VS SQS的支持和帮助资源，论坛和社区有多好？
我希望确保我们选择的技术有一个健康的社区，并且很容易获得帮助和搜索论坛，以找到与故障排除、操作和优化相关的信息。
浏览 0提问于2015-01-22得票数 1
我已经设置了一个连接器来从RabbitMQ队列中拉出并推送到Kafka主题中。连接器运行，队列清空。但是当我使用kafka-console-consumer或kafkacat查看主题时，每个条目看起来都像一个字节数组- [B@xxxxxxxx。 RabbitMQ消息的有效载荷都是JSON。我需要做些什么才能让JSON从Kafka中恢复过来？我已经在控制台使用者中尝试了value.converter=org.apache.kafka.connect.storage.StringConverter和ByteArrayDeserializer。 connect-standalone.propert
浏览 22提问于2020-01-07得票数 0
回答已采纳
我试图用卡夫卡-连接一个rabbitMQ连接器来验证概念。基本上，我有两个简单的spring引导应用程序:一个RabbitMQ生产者和一个卡夫卡消费者。使用者无法处理来自连接器的消息，因为它正在以某种方式转换我的JSON消息；RabbitMQ发送{"transaction": "PAYMENT", "amount": "$125.0"}和kafka-connect打印X{"transaction": "PAYMENT", "amount": "$125.0"}。请注意
浏览 0提问于2020-01-07得票数 1
回答已采纳
我使用的是confluent的kafka连接器docker image confluentinc/cp-kafka-connect:5.4.0-beta1。
我想按照本文中描述的方式设置RabbitMQ源连接器：
，
但是，我不使用本地的kafka代理，而是使用我在账户中设置的代理
在docker-compose.yml中，我通过以下设置成功地建立了从连接器容器到cloudkarafka代理的连接：
kafka-connect-01:
image: confluentinc/cp-kafka-connect:5.4.0-beta1
container_name: kafka-c
浏览 10提问于2020-05-20得票数 0
回答已采纳
我想用RabbitMQ和Kafka的地铁做消息经纪人。
在部署阶段，可以决定使用哪一个来传输消息。
我知道什么是ConsumeContext，ISendEndpointProvider，还是IPublishEndpoint。根据的说法，RabbitMQ和卡夫卡之间共享这个接口，用于发布和使用这些信息。
我在启动.Net核心应用程序时配置了.Net和Kafka，在部署阶段通过appSetting可以决定哪一个必须注册。
这种方法对于在我的应用程序中同时拥有和配置Kafka和RabbitMq是正确的吗？
浏览 0提问于2021-03-03得票数 1
回答已采纳
我使用官方的Kafka RabbitMQ连接器从RabbitMQ实例获取JSOn消息。 目前，此连接器的配置如下 name=RabbitMQConsentConsumer
connector.class=io.confluent.connect.rabbitmq.RabbitMQSourceConnector
rabbitmq.host=HOST
rabbitmq.port=PORT
rabbitmq.username=USER
rabbitmq.password=PASSWORD
rabbitmq.virtual.host=vhost
tasks.max=1
kafka.topic=TOP
浏览 28提问于2019-04-25得票数 2
使用独立模式，我创建了一个连接器，并进行了如下定制的转换：
name=rabbitmq-source
connector.class=com.github.jcustenborder.kafka.connect.rabbitmq.RabbitMQSourceConnector
tasks.max=1
rabbitmq.host=rabbitmq-server
rabbitmq.queue=answers
kafka.topic=net.gutefrage.answers
transforms=extractFields
transforms.extractFields.type=net.gut
浏览 17提问于2017-09-08得票数 1
回答已采纳
1回答
D总线是中间件IPC吗？
、、、
说
D总线过去不是Linux (即内核) IPC，而是一个额外的中间件IPC。但是在介绍的过程中，D总线成为了几个Linux发行版的基本系统的一部分。
说D总线是一个"IPC守护进程“。
D总线算不算
，或
我听说Zeromq，RabbitMQ，Kafka也是IPC的中间件。Zeromq，RabbitMQ，Kafka是否与D总线(高于Linux方法的级别)相同？将ZeroMQ与D-总线进行了比较，所以我想知道它们是否是相互替代的？
浏览 0提问于2019-01-06得票数 3
我正在尝试使用InsertField卡夫卡连接转换和rabbitmq连接器。我的配置：
"config": {
"connector.class": "io.confluent.connect.rabbitmq.RabbitMQSourceConnector",
"confluent.topic.bootstrap.servers": "kafka:29092",
"topic.creation.default.replication.factor&#
浏览 3提问于2022-10-18得票数 0
回答已采纳
我想看看照明控制系统中的BACnet和KNX功能如何可以与使用Kafka或RabbitMQ框架创建的照明控制系统相媲美。我想找一个正反两方面的实现与BACnet或KNX或卡夫卡或RabbitMQ照明控制系统。但我似乎想把苹果和橘子比较一下。
将BACnet和KNX功能与RabbitMQ和Kafka应用程序进行比较是否有意义？或者将BACnet和KNX协议与MQTT或IP进行比较更有意义？
浏览 3提问于2021-10-27得票数 0
我的目标是在rabbitmq交换队列和kafka主题之间建立一个连接器。 我按照这个指南来设置连接器：https://camel.apache.org/camel-kafka-connector/latest/try-it-out-locally.html。我从源代码https://github.com/apache/camel-kafka-connector下载并安装了连接器，为camel-rabbitmq-kafka-connector构建了它并解压缩了文件。我还将plugin.path指向我在camel-rabbitmq-kafka-connector -Standalone.prop
浏览 11提问于2020-09-25得票数 1
回答已采纳
我想使用Spark structured来聚合从RabbitMQ消费的数据。我知道与apache kafka有官方的spark结构化流媒体集成，我想知道是否也存在与RabbitMQ的集成？由于我不能切换现有的消息传递系统(RabbitMQ)，我想使用kafka-connect在消息传递系统(Rabbit to kafka)之间移动数据，然后使用Spark structured streaming。
有人知道更好的解决方案吗？
浏览 0提问于2018-04-16得票数 0
我使用以下配置将我的自定义连接器部署在kafka- connector中并注册：
{
"name" : "rabbitmq-source-connector",
"config" : {
"connector.class" : "net.geli.kafkaconnect.rabbitmqsourceconnector.RabbitMQSourceConnector",
"tasks.max": "5",
"kafka.topic"
浏览 0提问于2021-10-08得票数 0
回答已采纳
我使用kafka RMQ源连接器从RMQ队列获取数据。其中一个字段是base64encoded，它具有json结构。我正在使用提取转换来提取这个字段，但是我不确定如何解码这个字段，我试图编写自己的smt来解码这个字段，但是当我解码这个字段并试图将它放入记录的updatedvalue中时，我得到了错误的java.lang.ClassCastException: [B cannot be cast to java.lang.String，因为消息是一个Json结构。非常感谢您的帮助。 下面是我的连接器配置。 {
"name" : "RabbitMQ_Source&
浏览 26提问于2020-03-30得票数 0
回答已采纳
我正在尝试做一个POC，我们需要连接RabbitMQ和Kafka。我的问题是，是否有可能将RabbitMQ和卡夫卡联系起来？提前感谢
浏览 0提问于2018-06-05得票数 2
1回答
我们有一个已经在使用和RabbitMQ的应用程序，应用程序的一些端点正在向兔子MQ发送消息。现在，我们希望新的端点开始向Kafka发送消息，希望现有的端点继续使用中的RabbitMQ。我不确定这是否可能，因为这意味着我们必须在pom.xml中同时包含kafka和兔子绑定依赖项。我们需要在yml文件中进行哪些配置更改，这样应用程序才能理解kafka的绑定是什么，兔子的绑定是什么？非常感谢。
浏览 4提问于2022-02-01得票数 1
回答已采纳
我正在尝试使用Kafka连接器从RabbitMQ队列中读取数据到我的主题中，配置如下：
{
"name" : "RabbitMQSourceConnector1",
"config" : {
"connector.class" : "io.confluent.connect.rabbitmq.RabbitMQSourceConnector",
"tasks.max" : "1",
"kafka.topic" : "rabbitmqte
浏览 17提问于2019-11-27得票数 2
回答已采纳
在kafka中，数据存储在主题和本地目录中，但是在rabbitMQ中，数据存储在哪个位置和哪种文件格式。以及如何检入rabbitMQ的UI，请帮我解决这个问题。
浏览 9提问于2016-08-18得票数 0
1回答
我目前正在规划一个应用程序的架构，该应用程序从Kafka主题读取数据，并在经过一些转换后将数据转换为RabbitMq。我是Kafka Streams的新手，它们看起来很适合我的任务。但问题是，Kafka服务器托管在另一个供应商的地方，所以我甚至不能安装Cafka Connector to RabbitMq Sink插件。
有没有可能编写没有任何Sink点，但只处理输入流的Kafka steam应用程序？我可以在foreach操作中推送到RabbitMQ，但我不确定流是否可以在没有接收点的情况下工作。
浏览 0提问于2021-06-18得票数 0
1回答
我最近读到了一些关于message的文章，最近我发现Redis也有自己的消息代理，比如RabbitMQ、Kafka、豆秆等等。Redis还内置了pub/sub机制。
我也是socket.io的核心用户，所以我对此感到困惑：
Redis的消息代理是否与RabbitMQ、Kafka、豆秆等其他人的工作方式类似？
什么时候使用Message vs Pub/Sub和socket.io？如果可能的话，请分享例子。
提前感谢
浏览 2提问于2020-11-05得票数 0
是否可以使用spring创建kafka主题。就像我们在RabbitMQ中有了队列和RabbitMQ一样，可以像这样以编程方式创建队列和and。
@Bean
Queue queue(){
return new Queue("name");
}
试过这些文件没能得到多大帮助。
浏览 7提问于2017-09-15得票数 1
回答已采纳
1回答
用spring管理Kafka主题
、、、、
我们计划在我们的应用程序中使用Kafka进行排队。我在RabbitMQ和Spring方面有一些经验。
使用RabbitMQ和Spring，我们用来在启动spring服务时管理队列创建。
对于Kafka，我不确定什么是创建主题的最佳方式？有没有办法用Spring来管理主题？
或者，我们是否应该编写一个单独的脚本来帮助创建主题？维护一个单独的脚本来创建主题对我来说似乎有点奇怪。
任何建议都将不胜感激。
浏览 3提问于2018-06-18得票数 10
回答已采纳
2回答
我正在努力学习信息传递系统。我发现RabbitMq和NServiceBus在几个地方一起使用。我的问题是
如果我正在使用RabbitMQ，那么为什么我需要NServiceBus呢？反之亦然
除了卡夫卡( NServiceBus )或卡夫卡( RabbitMQ )之外，能做什么？
我能用NServiceBus和卡夫卡在一起吗？或者Apache-Kafka不需要NServiceBus。
浏览 1提问于2016-06-29得票数 81
回答已采纳
1回答
我想整合卡夫卡和RabbitMQ
我可以将消息发送到RabbitMQ，但是消息没有被使用。频道号状态在RabbitMQ控制台中显示为-0。
已将用户更改为Admin，但仍存在相同的问题。
通过Confluent部署Kafka (而不是单独部署zookeeper、Kafka等)，还通过Confluent-hub安装Rabbitmq连接器。
请帮帮忙。
[2019-03-26 06:39:19,151] ERROR Consumer io.confluent.connect.rabbitmq.ConnectConsumer@454774b5 (amq.ctag-Unaj3jmbQQctolAwNz
浏览 62提问于2019-03-26得票数 3
我有RabbitMQ背景，使用RabbitMQ，您可以设置交换，根据路由关键字将消息路由到不同的队列。
在Kafka中，我目前对主题的理解是，它们可以被认为是队列(永远不会被清空)。但是，我对根据特定标准将不同的消息放入不同的主题很感兴趣，并且我希望避免在生产者端做这种逻辑。
是否有与RabbitMQ的交易所等价的Kafka？
浏览 0提问于2015-09-30得票数 2
1回答
版本的库
软版:弹簧-兔子1.7.1
log4j2 : 2.8.2
slf4j : 1.7.7
log4j2 config
<appenders>
<console name="console" target="SYSTEM_OUT">
<PatternLayout pattern="[%d{HH:mm:ss:SSS}] [%p] - %l - %m%n"/>
</console>
<!--<Kafka name="Kafka" t
浏览 0提问于2017-05-19得票数 0
回答已采纳
1回答
我有一个监听15个传入消息队列服务(如rabbitMQ、kafka等)的Java应用程序。每个队列都在一个单独的线程上被监听。这是在启动时，我有15行Executors.newSingleThreadExecutor(new QueueListener("SomeQueueToListenTo"));代码
这个JVM线程是真的循环，所以它们将一直存在到QueueListener退出。
我的问题是:有没有更好的方法(更好的是:干净的代码/明智的性能)来初始化这些长寿的线程？
例如:执行15次Executors.newSingleThreadExecutor和创建一个包含15个线程
浏览 6提问于2021-10-28得票数 0
2回答
我试着去理解，但是网上没有太多关于它的信息。
该产品的主要功能是什么?它与Apache Kafka或RabbitMQ有何不同？
对我来说，它看起来就像其他许多队列服务器一样，带有一些预置的连接器，可以连接到第三方存储/队列。我想我可能真的漏掉了一点。也许它是基于云的基础设施的完美工具，或者提供与其他Netflix基础设施的无大脑集成，而其他人无法做到。有人能解释一下这项技术吗？
浏览 1提问于2015-01-14得票数 0
2回答
那么，让我们来比较一下卡夫卡和RabbitMQ。
Kafka(Partition) = RabbitMQ(Queue)
队列包含所有像list这样的消息。
在卡夫卡分区有什么好处，为什么不只在一个分区中使用消息？
是只在复制之前吗？
浏览 1提问于2019-07-21得票数 1
回答已采纳
我使用Ubuntu Sever中的RabbitMq作为集群。我想将Kafka配置为Rabbitmq。我已经通过下面的链接，但没有运气。
浏览 1提问于2019-05-24得票数 0
16回答
我被要求评估RabbitMQ而不是Kafka，但我发现很难找到一个消息队列比Kafka更合适的情况。有人知道消息队列在吞吐量、持久性、延迟或易用性方面更适合的用例吗？
浏览 18提问于2017-02-10得票数 509
回答已采纳
我在没有RabbitMQ的情况下用Kafka测试MassTransit 我需要一个IBusControl，我可以使用bus.UsingInMemory()吗？使用Kafka ITopicProducers安全吗？像调度/传奇这样的特性是否适用于Kafka或InMemory bus？
浏览 8提问于2020-10-11得票数 0
1回答
步骤配置示例：
Step employersStep = stepBuilderFactory.get("employersStep")
.<Employer, EmployerEntity>chunk(10)
.reader(amqpReader())
.processor(processor)
.writer(entityWriter)
.build();
如你所见，我正在努力：
从AMQP代理(RabbitMQ);process it读取数据；将处理过的数据写入DB.。
案件的预期
浏览 2提问于2021-08-11得票数 0
1回答
有没有桥可以将数据从kafka主题发送到amqp(rabbitmq)或mqtt？
我只找到了从mqtt/amqp到kafka，而不是向后...
BR
浏览 2提问于2018-06-07得票数 0
使用Spring for Apache Kafka或Spring AMQP，我可以实现消息发布/订阅。Spring Cloud Bus使用kafka/rabbitmq来做大致相同的事情，它们之间有什么区别？
浏览 11提问于2018-08-01得票数 4
当我在没有SASL的服务器上运行它时，我的rabbitmq连接器工作正常。实际上，它也是在SASL激活的服务器上工作的，但是在重新启动Kafka服务之后，它就不能开始工作了。错误是：
org.apache.kafka.common.errors.TimeoutException: License topic could not be created
Caused by: org.apache.kafka.common.errors.TimeoutException: Timed out waiting for a node assignment.
这是许可证问题吗？我不认为我们为它购买了任何许
浏览 6提问于2022-01-21得票数 0
回答已采纳
如果卡夫卡需要，因为队列中可能有很多信息。如果你不读的话，兔子也会遇到同样的情况。
如果您使用的是Arvo或Protobuf，则需要为Kafka提供此注册表。因此，Java类可以从Arvo或Protobuf生成，您可以将字节数组视图发送到Kafka。兔子视角:如果我使用Protobuf或Arvo，并且这个类发送到兔子，为什么不需要一个模式注册中心呢？
我理解RabbitMQ和Kafka之间有什么区别，只是我不理解模式注册中心的存在。为什么一个人不需要，而另一个人需要？
问题1：为什么没有模式注册表卡夫卡不能工作，而兔子为什么不能工作？
问题2：如果兔子不需要模式注册表，那么在Kafka的情况下
浏览 5提问于2022-06-29得票数 0
回答已采纳
我有一个在单个队列上订阅了多个使用者的RabbitMQ。我希望具有相同散列键的消息每次都可以被相同的消费者消费。我知道RabbitMQ的默认行为是循环遍历所有使用者，并按1分派消息。
它有没有和Kafka分区一样的能力？
谢谢
浏览 33提问于2020-02-14得票数 0
通常，当我们谈到微服务体系结构时，会发现message broker，如RabbitMQ或Kafka。
但是，在我当前的环境中，他们已经拥有了BizTalk。据我对BizTalk的理解，应该做好这项工作。所以我的问题更多的是从最佳实践的角度。很容易找到RabbitMQ和卡夫卡的比较，在BizTalk上没有太多。
浏览 3提问于2019-10-07得票数 1
回答已采纳
我想使用Spark 2和Scala2.11来消费来自RabbotMQ的消息。我找到了。此外，我在docker上使用以下命令安装了RabbitMQ：
docker pull rabbitmq
并启动Docker容器：
docker run -d --hostname my-rabbit --name some-rabbit rabbitmq:3
但是，我不知道如何生成和使用消息。我预计这种方法将非常类似于Kafka队列。但是RabbotMQ需要更多的参数，比如exchangeName，exchangeType，vHost等等，我应该从哪里获取这些参数呢？
在RabbitMQ的日志中，我看到了以下
浏览 31提问于2018-01-24得票数 0
我们需要通过kafka流消费数据，并将输出发送到rabbitmq通道。是否有类似于此的可用示例？
我试过了-
缺省绑定器: kafka
但要做到这一点-- java.lang.IllegalStateException:绑定器'kafka‘不能绑定com.sun.agent。$Proxy103
浏览 0提问于2018-10-31得票数 0
回答已采纳
我是消息队列世界的新手，目前我正在评估RabbitMQ、ActiveMQ和Kafka。在RabbitMQ中，生产者将创建到RabbitMQ服务器的连接，保持连接的线程将保持活动状态，直到连接关闭为止。这使我相信，必须是一个单独的线程，它向RMQ线程传递信息，后者只需将消息发布到队列，并一直循环到RMQ的连接关闭？这个假设正确吗？如有任何想法/投入，将不胜感激。
谢谢!
这不是卡夫卡的行为。[ ]
浏览 5提问于2016-07-20得票数 0
我正在通过MongoDB ChangeStream，我知道它降低了跟踪oplog的风险-我们目前正在跟踪oplog，以便将数据发布到Kafka。
请帮助我掌握，与Kafka或RabbitMQ等发布/订阅技术相比，changestreams如何更好
浏览 0提问于2018-10-11得票数 2
我正在通过ActiveMQ获取我的数据，我想用Apache实时处理它。很多消息传递服务都支持RabbitMQ和Kafka，但我看不到对ActiveMQ的任何支持。我该怎么用呢？
浏览 1提问于2016-03-17得票数 0
回答已采纳
我正在尝试创建一个架构: 1. Kafka集群(由Bitnami编写) 2. Rabbitmq集群(由Bitnami创建) 3. Kubernetes集群(AKS)，可以同时使用Kafka和RMQ。
当我在Azure中创建两个集群(Kafka和RMQ)时，我被要求为每个集群创建一个新的资源组。我没有AKS节点的in，所以我不能在集群的虚拟网络中设置异常。当我试图使用虚拟网络窥视将AKS的虚拟网络连接到每个集群时，提示我说地址之间存在重叠，因为Bitnami正在创建10.0.0.0/24的默认子网，因此无法将AKS连接到集群。
我问Azure对这个问题的支持，这是他们的回应：
“我刚刚检查了Ra
浏览 0提问于2019-08-07得票数 0
RabbitMQ是否支持生产者端批量发送消息，消费者端批量消费消息？就像Kafka一样，它存储批量产生的消息，直到达到linger.limit，或者直到批量满！RabbitMQ是否也支持生产者端的批处理？
浏览 7提问于2017-06-15得票数 2
回答已采纳
我正在尝试使用logstash 6.7将消息发布到rabbitmq。Logstash给我一个错误，告诉我拒绝连接到本地主机，其中我明确提到了远程主机地址。 input {
kafka {
id => "metrics.all"
bootstrap_servers => "kafka-host:6000"
group_id => "group_1"
security_protocol => "SSL"
ssl_truststore_location => &
浏览 97提问于2019-04-09得票数 0
1回答
需求: Django使用RabbitMQ(内部)和SQS/Kafka，这两个任务共享通用的DB/Django模型。
截至2016年10月，Django设置仅支持一种代理配置
如何拥有具有不同队列配置和代理设置的共享任务？
浏览 0提问于2016-10-24得票数 5
我有一个服务需要建模为流应用程序(该服务为当前相同的用例提供了同步和异步api )。我正在探索是否可以将实际处理建模为流应用程序。由于处理阶段保持不变，真正的区别是服务接口( http消息传递协议)。
在这种情况下，我正在探索spring云流，因为它似乎抽象出绑定器和处理器。但是要支持同步api，我需要以下内容：
ProcessorsAsync Sync == Http Binder <-> (req/resp) Api == RabbitMQ/Kafka Binder -> (pub/sub)处理器-> RabbitMQ/Kafka Binder
将有两个可部署的，
浏览 2提问于2021-01-04得票数 0
我想了解一下spring云数据流的体系结构。特别是使用它来编排纯粹的批处理管道。我已经在k8s中部署了所有组件，并且注意到我可以在没有中间件(Kafka / RabbitMQ)的情况下部署skipper组件，并通过服务器组件成功地运行批处理作业。
根据我可以看到的文档，skipper用于编排流作业。当纯粹用于批处理作业或任务时，skipper (以及随后的Kafka/RabbitMQ中间件)是否是春季云数据流的必要部分？
浏览 0提问于2020-04-23得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
