简单的Java Map/Reduce框架

文章/答案/技术大牛

发布

10回答

java、mapreduce

谁能给我推荐一个简单的、开源的Java Map/Reduce框架/API？似乎没有太多证据表明这样的事情存在，但其他人可能知道不同的情况。我能找到的最好的当然是Hadoop MapReduce，但它没有达到“简单”的标准。我不需要运行分布式作业的能力，只需要使用标准Java5样式的并发在一个JVM中的

浏览 0提问于2011-03-10得票数 49

回答已采纳

1回答

Hadoop Map/Reduce程序使用哪种语言？Java还是PHP？

hadoop

我最近用java写了几个map/reduce程序。但我也知道像php这样的脚本语言也可以使用。然而，大多数人都推荐java或python。我目前在php工作。所以我想知道哪种语言更适合map/reduce程序开发？ php用于map/reduce实现的一个主要缺点是，它不是多线程的。此外，hadoop拥有大量的类、接口和方法框架，这些

浏览 0提问于2011-12-20得票数 3

回答已采纳

1回答

我应该在哪里写mapreduce程序

mapreduce、elastic-map-reduce

我应该在哪里写map-reduce程序-在文本文件或任何其他文件中？在java中，文本文件，将java代码保存为filename.java，但对map-reduce程序将是什么呢？因为我非常需要，所以请回答。

浏览 1提问于2013-03-23得票数 0

1回答

map reduce可以做哪些工作，而apache crunch不能？

mapreduce、apache-crunch

据我所知，crunch是一个基于map-reduce框架的抽象框架。我打算使用crunch而不是map-reduce框架。我的问题是，map-reduce可以做哪些工作，而crunch不能？

浏览 4提问于2015-12-22得票数 2

2回答

编写任意map和reduce函数

java、hadoop、mapreduce

我想在mapreduce框架中写我自己的map和reduce函数，我该怎么做呢？(我的编程语言是java) 谢谢。

浏览 5提问于2011-04-16得票数 0

回答已采纳

1回答

Map reduce框架中map阶段的实现

hadoop、mapreduce

我搜索了很多，我知道在每个映射任务中，当缓冲区的内容到达阈值时，一个线程根据reduces.what的数量对数据进行分区，这里是reduce numbers的作用吗？为什么会在map中发生分区?它是如何发生的？我不能理解在这里倾诉的意义……谢谢。

浏览 0提问于2013-02-01得票数 0

2回答

在Hadoop伪分布式模式下充分利用所有内核

java、hadoop、mapreduce、mahout

我在我的4核笔记本电脑上以伪分布式模式运行任务。如何确保所有内核都得到有效利用？目前，我的作业跟踪器显示一次只有一个作业在执行。这是否意味着只使用了一个内核？编辑:根据答案，我需要在mapred-site.xml中添加以下属性 <name>mapred.map.tasks</name> <value&g

浏览 2提问于2011-12-02得票数 8

回答已采纳

1回答

配置单元JDBC Mapreduce

hadoop、jdbc、hive、mapreduce、hiveql

通常，如果我在Hive CLI中编写HQL查询，它将作为map reduce作业执行。如果我在Hive JDBC程序中有一个select查询，它也是一个map reduce作业吗？它是否也具有map reduce作业的所有优点？

浏览 0提问于2018-05-29得票数 0

1回答

如何使用Java* reduce将一个集合简化为一个对象，而不会带来并行的负担？*

java、java-stream、reduce

因此，我尝试使用reduce来获取一个List<String>并创建一个Map<String,List<Integer>>，其中的键映射为原始List的成员，值是出现该键的索引的List。一般来说，这是一个非常简单的操作，是大多数其他语言使用的reduce，inject，fold等。中的reduce是相当复杂的，因为Ja

浏览 23提问于2020-04-25得票数 2

回答已采纳

2回答

用于Map-Reduce的芹菜，还是Python中的其他替代品？

python、mapreduce、celery、disco

我有一些昂贵的作业，非常适合在map-and-reduce模型下运行(长话短说，它是将之前通过一些耗时的算法计算的数百个排名聚合在一起)。Celery不支持简单的map- and -reduce，尽管"map“部分很容易使用TaskSets完成，但是如何高效地实现"reduce”部分呢？(我对disco的问题是它不能在Windows上运行，而且我已经为程序<em

浏览 1提问于2011-07-29得票数 5

2回答

map reduce框架如何确定在map完全完成之前运行reduce？

hadoop、mapreduce

我注意到，通常在hadoop集群不忙的时候，在map端完全完成之前，reduce端就开始运行了？那件事怎么可能？我记得在某处读到的reduce进度指示器有点误导，但记不清了。有没有人能解释一下？

浏览 0提问于2012-05-23得票数 1

回答已采纳

1回答

我正在寻找.net分布式map/reduce框架。我打算将其用于实时数据查询，并在多个节点上并行处理查询。我目前正在使用WCF来实现web层和应用层之间的通信。例如，如果我有5个节点，内存中有数据。我只是想知道是否已经有一个框架可以映射作业并减少返回的结果。我看起来更像风暴中的Nimbus (Twitter实时地图/reduce)。不能使用nimbus，因为有很多复杂的问题。而且Zookeeper的</e

浏览 0提问于2013-01-15得票数 2

回答已采纳

2回答

在Map/Reduce框架中的何处添加特定函数

hadoop、mapreduce、distributed-computing

我对MAP/Reduce框架有一个一般性的问题。在Map阶段运行算法，以便在reduce阶段，除了从Map阶段收集每个分区的结果并进行汇总之外，不需要执行任何工作在Map阶段，只需划分分区(包含数据)并将其发送到re

浏览 3提问于2014-07-06得票数 0

3回答

在HDFS上未找到Oozie作业配置应用程序目录

hadoop、workflow、hdfs、cloudera、oozie

我在我的Linux机器上安装了Cloudera的伪分发版本，并成功地运行了一些简单的MapReduce示例。然而，我正在尝试让Oozie工作，但在尝试执行一个简单的作业工作流时，我收到的错误完全让我感到困惑：Oozie client build versionexamples/apps/map-reduce/workflow.xml 确实如此。o

浏览 2提问于2012-10-04得票数 5

2回答

使用BlockingQueue的

java、blockingqueue

我正在尝试在我的代码中实现队列的使用。重点是我想让它打印出文件中的单词总数，这意味着我需要它在完成后将所有结果加在一起。目前，我的程序所做的是，我有一个阅读器，它遍历文件，并返回一个包含文件名和其中字数的字符串。然后，我使用main方法为args数组中给定的每个参数运行for循环。每次我们浏览一个新文档来检查有多少个单词时，我们都会让它成为一个新的主题。System.err.println("Not enough input files&qu

浏览 0提问于2013-12-08得票数 0

5回答

Map Reduce中的Map Reduce

apache、hadoop、mapreduce、parallel-processing

我使用Hadoop开发Map/Reduce。我的驱动程序向Hadoop的作业跟踪器提交一个MapReduce作业(包含Map和Reduce任务)。我有两个问题: a)我的Map或reduce任务是否可以提交另一个MapReduce作业？(使用相同的群集Hadoop和到相同的Job Tracker)。这意味着，我的初学者驱动程序提交一个mapreduce作业，在这个作业中，

浏览 1提问于2012-03-15得票数 2

3回答

针对of级数据的Map* Reduce算法？*

analysis、mapreduce

这个问题没有一个“正确”的答案。我想了解更多关于上述算法的运行时间。编辑:问题不在于map减少了运行时间。问题是--大多数算法不能很好地分布到map reduce框架。我对在map reduce</em

浏览 1提问于2010-02-10得票数 4

1回答

在Java中通过套接字发送(并行)流

java、sockets、parallel-processing、java-8、java-stream

我正在尝试用java编写一个分布式Map-reduce程序，使用Java 8 map-reduce框架，它具有以下设计：reducer将获取流，并对其调用.<

浏览 0提问于2016-04-03得票数 0

1回答

在Mongo DB的map* reduce框架中有没有组合器阶段*

mongodb、mapreduce、combiners

在Mongo DB的Map reduce框架中有没有类似于Combiner的东西(如Hadoop map Reduce)。我们正在Mongo DB集群中尝试map reduce框架，在发送到reduce阶段之前，有几行键可以潜在地组合在一起。1 billion records which I'm going to map-reduce Each reco

浏览 1提问于2013-05-15得票数 1

1回答

如何在mongo中分层存储MapReduce结果

mongodb、mapreduce

我想要对一些指标执行map-reduce操作，并希望存储其聚合和时间序列的结果。存储聚合结果似乎非常简单，但如何以时间序列的方式存储结果，即每当map-reduce函数运行时，该时间间隔的值也应该记录在结果集合中。(即时间序列数据)> db.result.find() { "_id" : { "eventId&qu

浏览 0提问于2014-01-04得票数 0

点击加载更多