Mahout附带了许多预定义的Hadoop作业类(从AbstractJob派生的东西)。其中包括计算建议(RecommenderJob)的作业。Mahout还定义了用于测试这些建议的各种RecommenderEvaluators，但我不清楚如何使用Hadoop以分布式方式运行这些建议。
是:运行推荐作业，然后将输出提供给评估器？我看了看RMSRecommenderEvaluatorTest，但它似乎能一举完成所有的工作，而且看起来不像是Hadoop的工作。
浏览 3提问于2013-05-14得票数 2
回答已采纳
1回答
对于那些熟悉的人来说。这些模式是DDD的良好补充吗？最初，我认为它们更适合分布式企业应用程序，但我注意到，一些仅将数据库作为外部服务的复杂项目确实受益于消息传递模式。
我一直回避这本书，因为我对高度分布式的服务器端软件不感兴趣。然而，考虑到我越来越多地使用领域事件和事件采购，我有一种感觉，那本书中的模式很可能会在任何DDD项目中重用。
EIP是DDD从业者的必读之书吗？
浏览 2提问于2013-06-25得票数 3
回答已采纳
2回答
我有一台16核心的64 G服务器。我将node.js用于基于微服务的体系结构。大约有十几个微型服务。似乎很适合在同一台机器上部署所有的微型服务。
通常，人们在REST和消息传递之间进行辩论，而消息传递通常是赢家。在这种情况下，两者都会出现不必要的开销。
微服务应该如何沟通。例如，使用节点js或基于JVM的进程。理想情况下，如果每个微服务被“绑定”到一个核心，并使用L2或L3缓存与其他人通信，那么最好的性能就会出现！超快。有可能这样做吗？
将微服务流程永远绑定到核心
微服务使用L2或L3缓存进行通信谢谢
浏览 9提问于2017-02-17得票数 0
1回答
我必须测试消息传递服务，并想知道是否有任何经过验证的技术专门用于测试消息传递服务。例如，我知道JMeter对JMS的支持。这将涵盖负载/性能测试。然而，我不是在寻找工具，而是寻找概念和技术。
浏览 0提问于2016-04-25得票数 2
我发现Bigtable集群由一个主服务器和多个tablet服务器组成。失败时master发送到tablet服务器的消息。将平板电脑的备份副本设为主要副本。GFS自动创建的tablet的额外副本。
这足够了吗？但我想知道如何解决它，或者程序是什么，或者实际上是遵循了哪些步骤来解决它？
浏览 0提问于2015-11-04得票数 2
我正在评估在我们的产品中使用NServiceBus作为一种面向服务的架构机制。我正在考虑使用发布/订阅模式，我的理解是订阅服务将存储所有订阅。
这是否意味着如果我的RavenDB服务器宕机，我的发布者就失去了向订阅者发送消息的能力？或者，有没有办法让发布者缓存它拥有的订阅者，如果RavenDB宕机了，它就会交付给它的已知订阅者？
浏览 1提问于2012-11-07得票数 2
2回答
如何为链接服务器启用分布式事务？
、、、、
我有一个Server 2012实例，其中有一个链接服务器，它使用驱动程序指向Iseries系统上的db2数据库。
我正在尝试启用分布式事务。我相信这个提供者确实支持他们按照IBM文档 (除非我误解了那个链接)。
我正在运行以下查询：
BEGIN TRANSACTION
UPDATE LINKEDSERVER.LINKEDDATABASE.SCHEMANAME.TABLENAME SET COLUMN = VALUE
SELECT CAST('qwerty' as integer) -- we want an error here so the transact
浏览 0提问于2014-03-13得票数 8
1回答
我计划在我的基于web的应用程序中实现Hadoop框架。但我只是将其托管在本地主机中。我计划实现mapreduce和hdfs作为分布式文件系统。问题是，我要做的第一步是什么？我应该从什么开始呢？我对Hadoop框架进行了深入的研究。了解它是如何工作的，并尝试使用互联网上的wordcount示例。
浏览 2提问于2015-02-04得票数 0
3回答
我正在学习Microsoft Azure，有很多概念，虽然对我来说并不新鲜，但我想更多地了解它们，比如数据库分片、非规范化、nosql、内容分发网络、分布式缓存(如memcache)、异步处理、拆分系统、负载平衡等。等等。
我在找一本关于方法而不是技术的书。
问题是，我可以读到很多关于如何使用Azure Storage或如何使用Azure CDN的文章，但如果没有正确的方法，结果将不会像预期的那样好。
提前谢谢。
浏览 0提问于2011-01-26得票数 0
回答已采纳
我想学习更多关于编程消息传递应用程序和使用消息队列的知识。像qpid，亚马逊队列等的事情。你能告诉我一些应用程序(最好是C++，如果可能的话，开源)，这样我可以了解更多。
另外，您能告诉我决定是否不使用消息队列的一般指导原则吗？我对leanring很感兴趣，只是因为“酷”的因素，但我认为这对我未来可能是有益的。
浏览 0提问于2011-02-12得票数 2
回答已采纳
1回答
我有成百上千个节点，每个节点都知道彼此的地址。 为了有效地在它们之间传播信息，我目前认为我需要将它们转换为一棵树，或者可能是多棵树。 我读过https://en.wikipedia.org/wiki/Broadcast_(parallel_pattern)，但它似乎不能处理消息丢失。 如果消息有1%的失败机会，是否有办法将消息传送到99%的节点？速度在这里很重要，所以不需要重试和/或TCP。 当消息失败时，一个简单的树广播将丢失整个分支。也许多棵树就能解决这个问题？多少? 我很高兴节点能够接收少量冗余消息。我需要使用UDP。少量的绝对故障是可以的，因为它们可以在稍后的时间赶上自己，在此期间退
浏览 19提问于2020-09-12得票数 0
1回答
这个错误意味着什么？
我使用Java部署了5个Lambda函数，这些函数工作得很好，但从今天下午开始，它们都开始在执行每个函数时显示相同的消息：
Service error.
没有输出，没有日志，只有红色框中的消息。
在中，他们说：
下午6:05下午PDT我们正在调查增加的错误率和提高的AWS Lambda请求在美国-东部-1地区。新创建的函数和控制台编辑也会受到影响。
为什么会发生这种情况，是否有办法防止这种情况发生？
浏览 2提问于2016-08-11得票数 1
回答已采纳
2回答
在过去的几周里，我在空闲时间一直在使用Apache Mahout机器学习库。我很想知道别人是如何使用这些库的。
浏览 3提问于2009-08-29得票数 5
回答已采纳
我正在使用MT和RabbitMQ实现标准的请求/响应场景。客户端是Asp.net核心应用程序接口，消费者是windows服务。
作为测试异常用例的一部分，如果我停止使用者并使用请求客户端提交来自API的请求，由于没有使用者处理，API得到请求超时异常，这很酷。但是消息位于消费者队列中，当我启动消费者时，它会挑选消息并处理这些东西(将消息发送到外部端点)，然后移到_skipped队列中，因为没有请求客户端监听此消息。
你认为这是正确的行为吗？首先当api得到请求超时异常时，他还是会重试，那么处理第一条消息还有什么意义呢？
如何忽略那些请求客户端已经完成处理但出现错误的消息？
谢谢
浏览 26提问于2021-03-05得票数 0
1回答
我有一个基于java的软件，我的客户想要使用不同的工具加载一些数据到软件中。我需要写一个java模块，它可以与两者对话，并充当中介者。如何将输入从第三方工具传递到基于java的软件？
如果我可以使用远程调用从eclipse调用任何类(在基于java的软件中)，那么它将满足我的需要。
我从未从事过远程调用的工作。
浏览 0提问于2017-02-25得票数 0
1回答
我有一个应用程序，它由运行在一个或多个系统上的一组Java和C++组成，并且需要能够监视和控制组件，就像它们是一个完整的系统一样。
我的要求：
运行时统计(每秒消息等)
事件日志
控制：“服务X设定为1000 mps”或“所有服务停止”。
环境配置，以便所有服务都可以启动并发现工作模式(等等)
由于数据平面消息传递是基于0MQ的，所以我目前正在使用基于0MQ的消息传递和消息分发器来扇出控制消息。
不过，我对其他人如何处理这个问题很感兴趣。
谢谢。
浏览 0提问于2013-05-06得票数 1
我们的服务器端解决方案利用Hazelcast提供的分布式数据结构来提供与特定集群成员上的实体相关的状态。
当集群成员加入或离开集群时，我们需要让其他集群节点知道“发生了什么变化”：例如，当集群成员离开时，其他集群成员需要能够确定哪些实体由于集群事件而变得不可用，从而将其与具有其他原因(例如，与这些实体的正常生命周期行为相关)的实体的可用性变化分开。
朴素的实现可以基于在每个集群成员上保持跟踪由哪个集群成员提供什么资源的记录。然后，当检测到集群事件时，可以使用这样的记录。然而，这感觉就像是重新发明了一个轮子。
Hazelcast能促进解决方案吗？
浏览 0提问于2020-11-12得票数 5
1回答
我从下载了wso2am-4.0.0.zip，并通过命令“apy-Manager.bat start”运行。效果很好。我听说有一些wso2am部署模式，但我没有找到有定义的地方。有人能指引我吗？
浏览 1提问于2022-04-20得票数 -1
我已经在CAN中创建了一个CAN模拟系统。我已经添加了两个capl文件，其中包含一个ID为1的CAN消息处理程序。现在，如果我收到ID为1的CAN消息，这些处理程序将按什么顺序被调用？
谢谢
浏览 1提问于2015-06-11得票数 1
OpenStack使用消息传递(我想是默认的RabbitMQ ?)用于节点之间的通信。另一方面，Kubernetes (继承了Google内部的Borg)使用RPC。Docker的swarm也使用RPC。两者都是基于gRPC/protofbuf的，这似乎在Google内部也被大量使用。
我知道像Kafka这样的消息平台被广泛用于流数据和日志聚合。但是像OpenStack，Kubernetes，Docker Swarm等系统需要在节点之间进行特定的交互，而远程过程调用似乎是一个自然而然的选择，因为它允许为特定的操作定义API。
OpenStack是在评估消息传递与远程过程调用的优缺点后选择消息传
浏览 72提问于2017-12-02得票数 23
Kafka Consumer (org.apache.kafka:kafka-clients:2.3.0)应该使用一个分区消费来自topic的消息。 该服务记录消费者订阅，但它不使用消息，也不会使用Official Apache Tools kafka-consumer-groups.sh出现在消费者组列表中。 2020-06-15 11:50:50.308 [main] INFO o.a.k.clients.consumer.KafkaConsumer - [Consumer clientId=consumer-1, groupId=my-groupid] Subscribed to t
浏览 129提问于2020-06-15得票数 0
回答已采纳
2回答
我试图了解分布式系统中队列的用例是什么。
以及它是如何扩展的，它如何确保它在系统中不是一个单一的故障点？
如有任何直接答复或对文件的引用，将不胜感激。
用例：
我知道队列是一个消息传递系统。它将相互沟通的系统解耦。但是，这是使用队列的唯一目的吗？
可伸缩性：
对于大量的数据，队列是如何扩展的？既读又写。
可靠性:如何使队列不成为系统中的单一故障点？队列是否进行复制，类似于数据存储？
我的问题没有指定给任何特定的队列服务器，比如Kafka或JMS。一般情况下。
浏览 2提问于2017-08-02得票数 5
Hadoop将中间结果写入本地磁盘，将reducer的结果写入HDFS。HDFS是什么意思。它在物理上翻译成什么？
浏览 1提问于2012-09-14得票数 0
回答已采纳
websphere MQ附带了什么样的数据库？DB2分号？或者基于db的本地文件系统。它需要某种形式的持久存储，因为如果它在队列上接收到消息，而侦听器处于下线状态，那么它需要持久化消息，直到侦听器备份。
浏览 2提问于2013-10-10得票数 1
回答已采纳
2回答
我正在将基于酸的monolith迁移到基于事件的微服务体系结构。在monolith中，潜在的大型文件存储在数据库中，我希望与微服务共享这些信息(包括文件内容)。
我的方法是将文件分割成有编号的块，并发送几条消息(例如，带有元数据和id的一个FileCreatedMessage，后面是包含该块及其序列号的n FileContentMessage )。在接收端，消息可能不会按顺序到达。因此，我会存储消息块，订购并加入它们，并存储结果。
有什么方法可以让我用一条消息或另一条信息通过Kafka传输数据，而不需要为几条消息实现分片、排序和连接逻辑的开销？
我注意到卡夫卡溪流。它似乎解决了与这个不同的问题
浏览 0提问于2019-06-09得票数 5
回答已采纳
我有一个实时聊天的应用程序。聊天是在客户端和服务器端(nodejs)使用Faye实现的。
现在，这个客户端聊天被用于rails应用程序，当我的页面重新加载/刷新时，我不想丢失在以下场景中可能发生的消息：
我重新加载页面
我从DB那里得到聊天记录
用户在聊天的另一边写5行
我呈现这一页
我丢失了5份最近的记录
我想听听你对解决这个问题的意见。我想到了一个类似于消息队列的消息队列，其中没有传递给客户端的消息将在那里等待，然后在页面通过javascript打开时被获取。
如果有人确认消息队列非常适合使用zeromq或在redis中实现简单队列，我还需要您的意见，因为我已经
浏览 2提问于2012-10-02得票数 1
回答已采纳
最近，我尝试了Netty服务器来开发一个聊天服务器。我已经重复使用了示例"io.netty.http.example.websocketx.server"，并通过添加通道映射、消息处理器将新消息保存到数据库等方式稍微修改了它。
通道映射将包含所有已打开的频道和订阅的聊天室id。因此，当有人向聊天室123发送消息时，当收到messageReceived函数中的消息时，服务器将将消息发送到订阅到该聊天室的所有通道。
当只有一个WebSocketServer实例时，这个方法工作得很好，但是，如何将负载平衡到多个WebSocketServers呢？当WebSocketServer #1
浏览 5提问于2014-07-09得票数 1
回答已采纳
3回答
在对的一个回答中，用户提到了消息传递应用编程接口。我还遇到过一个名为的程序。我对也有一定的了解。
所以，我的主要问题是:为什么我要选择一个而不是另一个？更具体地说，当有成熟的MPI实现时，我为什么要选择使用when或ÖMQ呢？
浏览 0提问于2008-08-30得票数 47
回答已采纳
1回答
系统从MQ获取消息。由于系统具有多个VM，因此处理消息的实际顺序可能与MQ中的顺序不同(等等。可以在前一条消息之前处理后一条消息，并将其存储在数据库中)。
现在我希望具有相同Business-ID的消息可以在发送时作为订单进行处理。
我可以得到一个建议，我们可以使用一个VM并从MQ读取消息。并获取Business-Id并将消息分发到目标VM (具有相同Business-Id的消息将分发到相同的VM)。它可以解决这个问题，但是只有一个线程来做分发工作，性能可能不好。
有没有其他方法来解决这个问题？任何博客、论文、开源代码都可以。
浏览 0提问于2019-06-13得票数 0
在接收单个队列使用者和多个生产者时，是否可能出现消息顺序问题？producer1在2021-06-27 02:57:44.513上发布消息m1，在同一队列worker_consumer_queue上在2021-06-27 02:57:44.514上发布消息m2。连接到配置为单个使用者的队列的客户端代码应该首先按照m1的顺序接收消息，然后按照m2的顺序接收消息，对吗？有时接收消息的顺序不对。版本为ActiveMQ Artemis 2.17.0。尽管我提到了多个生产者，但使用属性blockOnDurableSend=false从同一个线程逐个发布消息。
我创建并关闭每个消息发布的生产者。在同一个J
浏览 3提问于2021-06-27得票数 0
回答已采纳
我是hadoop的新手--大数据分析。我指的是一本书--“mahout in action”。
我在这里看到了一个主题，它解释了我们如何从数据库中表示推荐数据。在这本书中，他们展示了将MySQL与mahout连接起来的编程方法。
我的问题是“有没有可能像我们连接MySQL那样连接hive和mahout ?如果可能，那么如何连接呢？”
浏览 3提问于2012-02-09得票数 0
回答已采纳
我在比较Apache Kafka和ActiveMQ (以及类似的消息队列产品)时发现的信息从来都不清楚每个解决方案的完整性属性(特别是一致性)。
使用Kafka，您可以获得即使在出现故障时也不会丢失消息的保证。使用"LazyPersistence“选项会失去这种保证吗？
所谓“无损失”，我的意思是消息将对客户端可用，即使在重启后出现故障-理想情况下，所有到达客户端的消息都以正确的顺序。
ActiveMQ ( "classic“或Artemis)是否保证失败时不会丢失消息？有没有什么配置选项可以保证这一点？如果"classic“和Artemis的答案不同，那就太好了。
浏览 3提问于2020-08-23得票数 0
我编写了以下代码，以便将一些消息写入SQS队列并立即删除它们。但是，我在输出中看到，每条消息都会被即时删除。然而，我看到消息计数非常随机地出现。我的意思是，它最初显示1，然后再次显示2，尽管又删除了一个。我已经将可见性超时设置为50秒，就像在这个中提到的那样。作为程序的一部分，我尝试了相同的方法。
所以我的疑问是删除消息是否会立即发生。如果是这样，这将如何影响线程计数。请看下面的代码和输出。
__author__ = 'Dhanapathi.Marepalli'
import boto.sqs
conn = boto.sqs.connect_to_region("u
浏览 0提问于2015-11-02得票数 0
我对消息代理(例如RabbitMQ )和面向消息的中间件之间的区别感到有点困惑。除了维基百科上的内容，我找不到太多的信息。在搜索MOM时，我找到了AMQP上的信息，其中说明了MOM的协议。这是什么意思？那妈妈是什么呢？我还了解到RabbitMQ实现了AMPQ协议。那么为什么这会使RabbitMQ成为消息代理呢？消息代理和MOM是一回事吗？
希望一些人能解开我的困惑。谢谢
浏览 18提问于2012-11-03得票数 29
8回答
什么才是真正的分布式计算，它与并行/并发计算有什么不同？
在试图同步访问资源的多个并行线程中使用互斥和信号量是否构成分布式计算领域的问题？
浏览 0提问于2011-10-19得票数 16
回答已采纳
当我的Java应用程序部署在负载均衡器后面的多个实例上时，我们如何使用java中的同步来同步访问公共资源？
因为，据我所知，同步只在一个JVM下工作。但是，当我们在多个实例上部署相同的Java应用程序来处理负载时，我们如何提供同步机制？
例如，：-有一个文件，java应用程序可以将该文件的内容附加/编辑到该文件中。当我在多个实例上部署我的java应用程序时，如何确保来自Java应用程序的一个请求只访问该HDFS文件？
浏览 3提问于2019-05-11得票数 2
回答已采纳
我对以下内容的基本理解：
分布式计算是一种连接节点的模型，从-from硬件的角度来看，它们只共享网络连接-并通过消息进行通信。每个节点代码负责一部分业务逻辑，因为在ERP系统中有一个节点负责hr，一个节点负责记账。通信可以是HTML、SOA、RCP
微服务是一种服务，它负责业务逻辑的一部分，并通常通过http进行相互通信。微服务可以共享硬件资源，并通过它们的api访问。
并行系统是优化资源使用的系统。例如，多线程应用程序运行在共享内存资源的多个线程上。
我有点困惑，因为微服务是分布式系统，但当在单个硬件资源上运行多个微服务时，它们也是并行系统。我是不是已经明白了：
浏览 0提问于2016-12-10得票数 18
1回答
我需要创建一个具有计时器/定期检查两个时间戳的分布式应用程序。是否有可能通过行为者模式实现以下行为：
产卵儿童演员
向子参与者发送消息，启动检查时间戳的例程
在计时器过期时不接收任何可用作触发器的消息时执行一些操作
传入的消息可以更改将定期检查的时间戳。
如果失败，主管需要用最后两个收到的时间戳恢复失败的参与者。在执行由计时器触发的事件时稍微延迟(重新启动参与者和重新应用状态)是可以接受的。
任务的关键目标是不丢失任何应该发生在两个时间戳之间一定时间内的事件，并不惜一切代价消除单个故障点。
演员模型(用Erlang或AKKA实现)是否适合解决这个问题？如果不是，其他更适合这种情况的模型/系统是
浏览 0提问于2018-09-23得票数 5
我即将着手编写一个系统，该系统需要在涉及的一个或多个节点发生故障时重新平衡其在剩余节点之间的负载分布。有没有人对应该避免什么和什么是有效的有什么好的参考？
特别是，我很好奇如何开始构建这样的系统，以便能够对其进行单元测试。
浏览 0提问于2009-09-21得票数 2
回答已采纳
3回答
用于MPI的数据挖掘库
、、、、
是否有任何数据挖掘库，正在使用(或可以使用) MPI (消息传递接口)？我正在寻找类似于Apache Mahout的东西，但它可以很容易地集成在MPI环境中。
我之所以想使用MPI，是因为它的配置(与Hadoop相比)很简单。或者，在数据挖掘场景中使用MPI没有意义吗？
浏览 0提问于2012-10-03得票数 3
回答已采纳
7回答
我对学习分布式计算技术很感兴趣。作为一名Java开发人员，我可能愿意从开始。你能推荐一些书/教程/文章开始吗？
浏览 0提问于2010-05-12得票数 13
回答已采纳
我花了很长时间来考虑去中心化应用程序及其优势，特别是当涉及到大量流量时，它们往往更可靠、更便宜的事实，而集中式应用程序则不是这样(最好的例子是facebook或google，这些服务器消耗大量能源)。
我的问题是：
Kademlia可以用于聊天协议吗?它的安全性如何？如果我启用了数据包加密，是否可以保证隐私？如果我调整协议，其他类型的消息传递应用程序是否可以与kademlia (论坛/usenet、电子邮件、IRC)一起使用？
我确信我需要添加很多代码来保护隐私，这样任何人都可以窃听或利用Sybil攻击(在维基百科上有描述)。
你觉得呢？你认为这个项目值得吗？
(为我糟糕的英语道歉)
浏览 2提问于2011-06-17得票数 3
回答已采纳
1回答
动物园管理员是一个协调服务机构，负责处理以下问题-
如果集群中的一个节点发生故障，动物园管理员将查找另一个节点。
处理对共享资源的序列化访问
种族状况死锁。
其他流行的消息传递系统没有动物园管理员。他们当然应该面对动物园管理员声称要解决的问题。
Q1)他们有其他方法来解决这些问题吗？对那些方式放点光。
Q2)他们找到了一种与这些问题共存的方法吗？
浏览 0提问于2019-07-28得票数 0
3回答
在编写分布式算法代码时，是否使用任何库来对处理器、寄存器、消息、链接等抽象事物进行建模？有没有能做到这一点的库？
例如，我在考虑自稳定算法，比如自稳定的最小生成树算法。
浏览 10提问于2009-05-29得票数 3
回答已采纳
在spring boot应用程序中，我们在数据库上有一个分页循环，它将使用JMSTemplate为每个页面发送一条JMS消息。包含循环的方法是@Transactional。创建JMSTemplate时，transacted标志设置为真。 我一直在浏览JMSTemplate的源代码，据我所知，如果已经有外部事务正在进行，它将不会提交事务会话，而是会将其放入该事务中。 现在让我们考虑以下代码： @Transactional
public void loopThroughPages(String destination, String from, String to) {
Pageable
浏览 26提问于2018-12-20得票数 3
回答已采纳
1回答
在Saga模式https://microservices.io/patterns/data/saga.html和下面的用例之间有一个细微的区别。Saga模式是关于事件发生时的分布式事务，下面的用例是事件发生后的协调模式。
我们有一个巨大的微服务生态系统(300+)在一个部门(2000+雇员)。我们的所有服务都松散地遵循消息驱动的体系结构。例如，在电子商务世界中，我们有一个系统A，它发送消息Customer X placed an order for item Y for $4.50. Order Id is 123。然后有一个系统B，它可能是一种支付服务，它接收此消息，并以4.50美元实际借记
浏览 0提问于2021-06-15得票数 -1
请原谅我的基本问题，但我在谷歌搜索中没有找到我的答案。
我想开发一个服务器，应该响应数百个客户端。每个客户端每秒可以发送数十到数百条消息。
我想知道如果我使用AMQP (RabbitMQ实现)或ZeroMQ之类的排队协议，服务器应该支持多少个TCP连接？
是客户端总数还是每秒消息总数？
浏览 0提问于2015-06-20得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
