从高层角度解释NoSQL非常容易--它基本上是“键值”存储。当然有上千个小的和重要的东西，但一般来说，它只是键值存储。
解释Hadoop和Map/Reduce的最佳方式是什么？可能是一些“真实世界”的例子，即使是新手也很容易比较？谢谢!
浏览 0提问于2010-11-15得票数 6
回答已采纳
我一直在查找Spark和MapReduce之间的区别，我真正发现的是Spark在内存和磁盘上运行，这使得它的速度大大加快。我还读到，MapReduce对于非常庞大的数据集更好，这仅仅是因为你可以将更多的数据加载到磁盘上而不是内存中？但想必，使用Spark，您无论如何都会在内存和磁盘之间移动数据，因此如果内存空间不足，您可以将一些数据移回磁盘，然后引入新数据进行处理。
基本上，还有没有真正的理由继续使用MapReduc
浏览 0提问于2018-05-02得票数 0
1回答
我想在我的应用程序上实现hive+hadoop的map reduce程序，我还在想，因为我已经尝试了很多次关于hive中map reduce程序的查询和查找信息。我的问题是，hive有自己的map reduce程序吗？因为当我尝试有点复杂的查询时，日志是这样的：
Job running in-
浏览 3提问于2011-05-26得票数 1
回答已采纳
2回答
我正在尝试索引和存储大数据，但我对使用什么工具感到有点困惑。首先我要说的是，我是一个新手，在这个主题上只有理论知识。我想：2)使用三台不同的PC从平面文件中提取日志数据a)在尝试对三个字段进行索引时，是否可以使用map- index -reduce？如果不
浏览 0提问于2015-05-01得票数 2
4回答
Map Reduce插槽定义
、、、、
我正在成为cloudera Hadoop管理员的路上。从我开始，我听说了很多关于在Hadoop集群中计算每台机器的插槽，比如定义Map插槽和Reduce插槽的数量。我在互联网上搜索了一段时间，以获得Map Reduce插槽的Noob定义，但没有找到。
通过PDF解释Map Reduce的配置，我真的很生气。请解释</em
浏览 1提问于2014-08-16得票数 5
有人能解释一下hadoop是如何决定将作业传递给map和reduce的吗？Hadoop作业被传递到map和reduce上，但我不能弄清楚它是如何完成的。
提前谢谢。
浏览 0提问于2015-06-06得票数 0
1回答
我们有一个从FTP服务器下载文件的应用程序。我们计划使用Map reduce从ftp下载文件来提高它的效率。我的第一个问题是，使用Map reduce真的可以提高效率吗？我们在逻辑上争论的是，多个映射器和每个映射器中的一个读取通道实际上会使并行下载过程更快。但我们不确定是否存在技术障碍。有什么建议吗？
浏览 2提问于2012-11-20得票数 0
回答已采纳
我已经阅读了很多关于Hadoop的文档和信息，但是我不知道如何实现这个简单的工作流：
我希望能够将这些MapReduce作业集成到外部应
浏览 4提问于2016-01-04得票数 0
回答已采纳
1回答
用Hadoop和Nutch作为搜索引擎，我能做什么呢？我知道nutch是用来构建网络爬虫的。但我找不到完美的照片。我可以在nutch中使用mapreduce并执行一些mapreduce工作吗？
浏览 0提问于2011-09-27得票数 0
回答已采纳
2回答
我正在尝试学习如何使用hadoop流媒体。我正在尝试运行一个非常简单的映射器，而不是reducers。我认为这意味着节点管理器不得不终止作业，但不确定。我在过去等待了半个小时，但它从来没有结束。我使用的是hadoop 1.2.1。文档上说它附带了hadoop streaming jar，但我找不到它，所以我从中央maven存储库下载了hadoop-streaming-1.2.1。下面是命令行：
[msknapp@localhost d
浏览 1提问于2013-12-22得票数 2
我的EMR集群中有很多日志文件位于路径‘hdfs://logs’。每个日志条目都是多行的，但是有一个开始和结束标记在两个条目之间划分。现在,
Hive负责Mappers和
浏览 5提问于2012-12-21得票数 0
回答已采纳
为什么我在mapreduce.map/reduce.ememy.mb中的mapred-site.xml和mapreduce.map/reduce.java.opts上配置的值大于默认值，会使我的工作变慢但是如果我把它配置得太低，那么我的任务就会失败。我认为在这种情况下，我在hadoop上的内存配置是没有必要的……
你能给我一个
浏览 0提问于2015-05-13得票数 0
5回答
我的一个项目是比较Hadoop的不同变体，据说有很多不同的变体，但谷歌搜索对我来说效果不好：
有人知道Hadoop的任何不同变体吗？我唯一找到的就是Haloop。
浏览 1提问于2011-10-08得票数 0
1回答
我正在hadoop上运行一些map reduce任务。映射器用于生成数据，因此不依赖于hdfs块的位置。为了测试我的系统，我使用了2个节点和一个主节点。我正在使用yarn在hadoop-2.0上进行测试。
我发现hadoop有一些非常不舒服的地方。我已经将它配置为运行8个地图任务。不幸的是，hadoop在一个节点上启动了所有8个map任务，而另一个节点几乎
浏览 3提问于2014-02-08得票数 1
我正在使用Hadoop map-reduce，当我尝试以编程方式创建许多作业计数器时，我得到了一个CountersExceededException。我知道我可以通过配置文件增加允许的计数器数量，但有谁知道：和
b)增加map-reduce计数器的最大数量是否是一个好主意？我使用的是hado
浏览 2提问于2012-06-28得票数 5
回答已采纳
1回答
我是Hadoop的新手。我记得我从某个地方了解到，在Hadoop中，所有的映射函数都必须完成，然后才能开始使用减约函数。但是，当我运行这样一个地图还原程序时，我得到了打印输出：map(20%), reduce(7%)map(38%), reduce(17%)
map(40%)
浏览 0提问于2013-09-13得票数 5
回答已采纳
4回答
Python似乎有来帮助在基于SMP的系统上或跨集群进行并行处理。我对构建一个客户机-服务器系统很感兴趣，在这个系统中，服务器维护一个作业队列，客户机(本地或远程)连接并运行作业，直到队列为空。在上面列出的软件包中，哪个是推荐的，为什么？
编辑:特别是，我写了一个模拟器，它接受一些输入并处理一段时间的事情。我需要从模拟中收集足够的样本来估计用户指定的置信区间内的平均值。为了加快速度，我希望能够在许多不同的系统上运行模
浏览 1提问于2010-01-13得票数 5
回答已采纳
1回答
Hadoop中的流或自定义Jar
、、、、
我在Hadoop中运行一个流作业(在Amazon的EMR上)，使用Python编写的映射程序和缩减程序。我想知道如果我在Java (或使用Pig)中实现相同的映射器和reducer，我会体验到什么速度提升。我不是在寻找Java和Python之间的比较，而是在Hadoop中的自定义jar部署和基于Python的流之间的比较。我的工
浏览 0提问于2011-07-29得票数 11
回答已采纳
我认为两者都可以通过正确的配置来完成完全相同的任务。Kinesis Data Analytics是否做了EMR不能做的事情，反之亦然？Amazon Kinesis Data Analytics是分析流数据、获得可操作的洞察并实时响应业务和客户需求的最简单方法。Amazon Elastic Map Reduce提供了一个托管的Hadoop框架，使其能够轻松、快速且经
浏览 29提问于2019-05-17得票数 7
2回答
每次运行Hadoop程序时，我都需要更改映射器和减法器的数量。有没有办法从命令行(当我运行程序时)将映射器和缩减程序的数量传递给我的程序，然后使用args检索它？
浏览 8提问于2013-05-28得票数 4
云服务器
ICP备案
云直播
实时音视频
即时通信 IM
腾讯云开发者
