1回答
我在opensuse linux上使用hadoop 19，我不使用任何集群，而是在我的机器上运行hadoop代码。我遵循的标准技术是放入分布式缓存，但不是一次又一次地访问来自分布式缓存的文件，而是将文件的内容存储在一个数组中。从文件中提取的这一部分是在配置()函数中完成的。当我尝试使用fiel名称时，我得到了nullPointerException。这是守则的一部分：
.
..part of main()
..
DistributedCache.addCacheFile(new URI("/home/hmobile/hadoop-0.19.2/output/part-00000
浏览 0提问于2010-07-09得票数 0
两者都能在单节点hadoop设置中工作吗？我猜它可能在本地模式(独立模式)下不工作，但在伪分布式模式下工作？
浏览 2提问于2012-07-30得票数 0
回答已采纳
我的应用程序连接到HBase，并进行大量通信(每秒读取/写入数百或数千次)。这会严重影响性能，这可能是由于HBase对每个请求执行的I/O操作。
Doo.dle是对我的代码的调用--蓝色和红色的区别在于HBase消耗的时间。
目前，我只在独立模式下进行测试，在这种模式下，HBase使用本地文件系统存储数据。我想知道，在分布式模式下使用一个实际的HDFS是否会显着地提高性能，还是只会产生相同的结果。我试图在失去太多的时间来建立和运行一个集群之前，得到一个线索。
我问自己的第二个问题是，是否可以将独立的HBase配置为只将数据持久化到内存(RAM)，而不是将其写入文件系统以进行性能评估。
浏览 2提问于2015-04-07得票数 5
问题是我们有一系列的客户，他们中的一些人不需要HBase设计的那种规模。对于这些客户来说，不能选择几个节点。
对于它们，我们希望在RAID5上以伪分布式模式运行HBase。客户不需要为服务提供故障保险。他只需要数据在RAID5上是安全的。
官方指南明确指出，伪分布式模式不适用于生产环境。我可以想象，这句话是因为服务没有故障保险，性能并不是最好的。
但从技术上讲，如果客户不需要上述功能，我相信它可以长期运行在这种模式下。或者是其他一些问题？可能它在这个设置中没有得到很好的测试？
我们不想在我们的应用程序中引入另一个单节点数据库，仅仅为了满足几个客户的需求。我们需要为大客户提供HBase。
浏览 1提问于2014-04-12得票数 1
在hadoop中，伪模式和独立模式的确切区别是什么？
当我们在自己的笔记本/台式机上工作时，我们如何才能知道这一点呢？
浏览 5提问于2014-11-07得票数 0
回答已采纳
这可能是一个愚蠢的问题，但我需要知道。
例如:为什么我们需要hadoop fs -ls命令来列出文件？相反，为什么不能只使用ls？
如果在伪分布式模式下，文件系统的一部分被提供给hadoop文件系统，而该文件系统只能由hadoop namenode daemon...this访问，我猜是这样的。请解释一下。
浏览 22提问于2018-07-15得票数 0
我从一台Windows7计算机开始，设置了一个Ubuntu Linux虚拟机which I run using VirtualBox。已经执行了The Cloudera Manager Free Edition version 4，我一直在按照localhost:7180上的提示进行操作。
现在，当提示要求我“为您的CDH集群安装指定主机”时，我被卡住了。我可以单独在linux虚拟机中安装和运行所有Hadoop组件吗？
请帮助我指出正确的方向，我应该指定的主机。
浏览 1提问于2012-11-07得票数 5
我想安装hadoop并研究它，但是现在我只安装了一台带有ubuntu13.10的pc。
但我了解到hadoop至少需要3个节点。
在一个节点上安装hadoop及其服务有什么好方法吗？
我想我需要蜂箱，hdfs，hbase，先生服务。
任何帮助都将不胜感激，谢谢。
浏览 7提问于2014-09-18得票数 0
回答已采纳
我使用hbase 0.94.1和动物园管理员3.3.6，几次尝试后，hbase的主人关闭，sw退出
这些是我从壳中得到的错误。
12/09/26 18:58:35 INFO zookeeper.ZooKeeper: Initiating client connection, connectString=localhost:2181 sessionTimeout=180000 watcher=hconnection
12/09/26 18:58:35 INFO zookeeper.ClientCnxn: Opening socket connection to server /127.0.0.1
浏览 3提问于2012-09-26得票数 5
有人能告诉我Hadoop单机版和伪分布式版的数据流有什么区别吗？事实上，我正在尝试运行一个由John Norstad提出的矩阵乘法的例子。它在hadoop独立模式下运行良好，但在伪分布式模式下无法正常工作。我无法解决这个问题，所以请告诉我hadoop单机模式和伪分布式模式之间的原理差异，这对修复所述的problem.Thanks有帮助
Reagrds
WL
浏览 1提问于2012-01-12得票数 1
1回答
我正在使用CDH5.3，我试图编写一个mapreduce程序来扫描一个表并进行一些处理。我已经创建了一个扩展TableMapper的映射程序，我得到的例外是：
java.io.FileNotFoundException: File does not exist: hdfs://localhost:54310/usr/local/hadoop-2.5-cdh-3.0/share/hadoop/common/lib/protobuf-java-2.5.0.jar
at org.apache.hadoop.hdfs.DistributedFileSystem$17.doCall(Distribute
浏览 4提问于2015-12-18得票数 4
1回答
我想在HBase (独立模式)下测试数据的恢复，我该怎么做呢？恢复将在独立模式下工作吗？
在从shell执行put命令后，没有关闭我的VM的HBase并重新启动，它没有显示新添加的数据。即使我从eclipse尝试，它也不显示。如何在HBase中测试恢复？我可以看到Hfile，但不能看到Hlog。我需要为此设置路径吗？
这是我写的代码..
Put p=new Put(Bytes.toBytes("name10"));
p.setWriteAheadLog(true);
p.add(Bytes.toBytes("cf"), Bytes.toBytes("na
浏览 3提问于2013-03-25得票数 0
我如何在不查看配置文件(hbase-env.sh和hbase-site.xml)的情况下检查我的hbase是否在伪分布式模式下运行？.Is除了jps之外，还有一些命令可以用来检查它
浏览 1提问于2013-08-20得票数 0
我是hadoop的初学者。但我有一个有趣的观察。
在hadoop文档中使用，
通过在独立操作和伪分布式操作中运行相同的示例，独立操作耗时不到1分钟，但伪分布式操作耗时超过3分钟。这是一个很大的区别。我可以理解在分布式模式下有额外的网络和调度开销。但差别似乎太大了。这可能不是真正的比较，因为示例非常简单。
我的问题是，在实际作业中，单机模式和分布式模式有多大的不同？
浏览 1提问于2012-05-02得票数 0
我打算在ubuntu上安装hadoop和HBase。当我试图搜索任何好的链接时，我找不到哪个是完全清晰和更具描述性的。我需要一个详细的链接，我可以很容易地设置hsdoop和hbase。
谢谢
浏览 0提问于2012-05-19得票数 4
回答已采纳
1回答
我是HBase的初学者。我目前不确定是什么影响了HBase的性能。首先，我在独立模式下运行Hbase。我使用一台机器运行Mapreduce程序来处理两百万行文本，并将结果输出到存储在本地文件系统中的HBase表中。它花了大约1小时40分钟。然后我切换到伪分布式模式。然后，Htable文件被存储在HDFS.All中，包括程序在内的其他内容保持不变。然后花了3个多小时！我完全糊涂了。有人能告诉我为什么会这样吗？
另一个问题是，由于我在功能不是很强大的Linux机器上创建了5个虚拟机作为虚拟集群(8G ram。3 3GHz四核CPU)。当我一个月前运行Mapreduce程序时，当我在一个主服务器上运
浏览 2提问于2012-07-27得票数 1
回答已采纳
我是一名windows用户，想学习使用java servlet和jsp的Hbase。基本上，我想对Hbase使用原生JavaAPI，并将其用作存储的主要数据库。我找不到任何相关的解决方案来在没有虚拟框的windows中设置这些东西。
有没有人能给我一些建议，让我可以开始用eclipse来开发这些东西？
浏览 2提问于2015-05-23得票数 0
我正在尝试学习Hadoop，是否可以在linux机器上安装Hadoop并尝试大多数(如果不是全部) Hadoop实用程序？
浏览 2提问于2012-01-29得票数 0
回答已采纳
1回答
我跟踪了一篇文章，并设法在eclipse中运行了一个mapreduce程序。
下面是pom.xml文件
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<model
浏览 1提问于2014-03-19得票数 1
回答已采纳
我想在提交到生产环境之前，在开发工作站上运行hadoop作业进行测试。hadoop中的哪种模式操作允许在使用单机时最接近地模拟生产集群。
浏览 2提问于2013-05-03得票数 0
使用hadoop流：
hadoop jar hadoop/contrib/streaming/hadoop-streaming-1.0.3.jar -file mapper.rb -mapper mapper.rb -file reducer.rb -reducer reducer.rb -input textfile.txt -output output
假设我所在的目录是“/home/user/sei/ textfile.txt”和
1) is in the same folder as the directory I am currently in
2) I did not use -
浏览 0提问于2013-05-01得票数 0
回答已采纳
我读了Hadoop的文档，我发现：
“独立模式和伪分布式模式都是为小规模测试而提供的”。
我有两个问题。
首先，有多大被认为是小规模的，更具体地说，我将最多使用32个节点，我可以在伪分布式模式下运行它吗？
第二，即使是小规模的模式，伪分布模式和全分布模式是否存在性能差异？因为，我在我的Mac上运行hadoop，很难找到一个真正的集群系统。有什么我需要注意的吗？
浏览 0提问于2018-03-31得票数 0
我想知道从配置角度和理论角度有什么不同？
这两种模式是否使用不同的端口号？或者其他的不同？
浏览 0提问于2014-05-03得票数 13
回答已采纳
1回答
当我在独立模式中执行start-hbase.sh时(不是在分布式或伪分布式模式下)，它将不会执行启动区域服务器、动物园管理员、主备份(因为没有HDFS文件系统，它不能运行区域服务器)。此模式会对HBase的恢复部分产生影响吗？例如，在HBase数据仍在memstore中时崩溃VM，并重新启动VM和HBase。
我试过以上的实验，HBase不能recover.what会是原因吗？
浏览 5提问于2013-03-21得票数 0
我对NoSQL DB和Apache HBase很陌生，但我想学习它。我想知道我是否可以在一个服务器上使用HBase，因为到目前为止，我知道有3种模式可以运行HBase。1.独立2.伪分布3.全分布
因此，在单个服务器上，我只能使用独立和伪分布式模式，但问题是，我发现这两种模式不应该在生产环境中使用。
问题是:我可以在一台服务器上使用完全分布式配置，还是必须购买更多服务器才能在完全分布式的生产环境中运行HBase？
提前谢谢你。
浏览 3提问于2015-01-08得票数 0
回答已采纳
1回答
Hadoop配置-群集
、、、、
对于Hadoop，文件core-site.xml和mapred-site.xml的正确设置是什么？因为我正在尝试运行hadoop，但得到以下错误：
启动辅助名称节点，登录到/ opt/hadoop/hadoop-1.2.1/libexec/../logs/hadoop-hadoop-secondarynamenode-lbad012.out
lbad012 :线程“main”中出现异常java.lang.IllegalArgumentException :不包含有效的主机:端口授权: file :/ //
org.apache.hadoop.net.NetUtils.createSocketA
浏览 1提问于2013-11-13得票数 1
1回答
我一直试图运行HBase的例子-明确的指南，我遇到了这个错误，我无法通过它。如果这有帮助的话，我将以独立模式运行。
Exception in thread "main" org.apache.hadoop.hbase.MasterNotRunningException: �
17136@ubuntulocalhost,32992,1373877731444
at org.apache.hadoop.hbase.client.HConnectionManager$HConnectionImplementation.getMaster(HConnectionManager.j
浏览 5提问于2013-07-15得票数 0
我已经建立了一个动物园管理员伪分布式集群，并且我想在我的单机上的伪集群上运行Storm拓扑，我应该怎么办？我见过有人写到，它需要配置Storm 3次，就像和动物园管理员打交道一样，我不确定，有人知道吗？
浏览 2提问于2016-01-09得票数 0
回答已采纳
1回答
我在开发环境中只有一个linux(ubuntu)服务器，我还计划在生产环境中使用一个服务器。
我有从Nutch2.2.1生成的爬行数据，我想要存储在HBase 0.90.6中。既然，，我不打算使用多台机器(我只有一台服务器)，在我的情况下，HBase的哪种模式是生产env的理想模式--伪的还是完全分布的？
浏览 4提问于2013-10-05得票数 2
回答已采纳
我的nutch在hadoop上运行，我想检查nutch运行日志，但找不到像独立nutch日志一样的输出日志。
浏览 1提问于2012-10-16得票数 3
回答已采纳
在码头，我有两个集装箱：
HBase
动物园管理员
我正在配置hbase-site.xml：
<property>
<name>hbase.zookeeper.quorum</name>
<value>zookeeper</value>
</property>
<property>
<name>hbase.zookeeper.property.clientPort</name>
<val
浏览 3提问于2015-12-03得票数 2
回答已采纳
1回答
如果这是一个基本的问题，我很抱歉。但是，Etalum2.0的新的碎片链是PoW还是PoS呢？
我知道Eth1的计划是最终“停靠”到信标链上，成为自己的碎片。但是，其他所有的新碎片都将是PoS吗？
浏览 0提问于2020-12-27得票数 0
我需要建立一个多节点Hadoop集群。到目前为止，我已经为每个集群节点使用静态IP地址完成了安装。但是，在我最近的集群中，我需要使用DHCP分配的节点。因此，我想知道，我应该如何使集群工作和生存，重新启动等。
是必须为集群节点设置静态IP地址，还是可以让它与动态IP一起工作？
请提供任何专家指导。
浏览 7提问于2016-01-23得票数 0
我一直在努力让Storm的本地副本正常工作，遵循回购指南和这个。
当试图使用mvn compile exec:java -Dstorm.topology=org.apache.storm.starter.ExclamationTopology运行拓扑时，输出最终会继续循环&垃圾邮件：
28534 [Thread-9-SendThread(localhost:2000)] INFO o.a.s.s.o.a.z.ClientCnxn - Opening socket connection to server localhost/127.0.0.1:2000. Will not attem
浏览 3提问于2016-02-19得票数 1
回答已采纳
我在Hadoop2.x新的DistributedCache中遇到了一个问题，我发现一些人在解决这个问题，但是它不能解决我的问题
此解决方案不适用于我，因为我在尝试检索DistributedCache中的数据时获得了一个DistributedCache。
我的配置如下：
司机
public int run(String[] arg) throws Exception {
Configuration conf = this.getConf();
Job job= new Job(conf,"job Name");
...
浏览 1提问于2013-12-10得票数 0
回答已采纳
5回答
我可以访问一台运行Linux的计算机，它有20个内核，92 GB的RAM和100 GB的硬盘存储器。我想使用Hadoop来完成一项涉及大量数据(超过100万字，超过1B字组合)的任务。将伪分布式模式或完全分布式模式作为在一台计算机上充分利用Hadoop功能的最佳方法？？。
对于我打算使用Hadoop来说，经历数据丢失和由于节点失败而不得不重新运行作业并不是什么大问题。
涉及到的使用完全分布式模式。描述伪分布式模式；更详细的信息可以找到。
浏览 7提问于2015-07-30得票数 11
我希望将本地的java/scala进程连接到远程HBase服务器(1.1.2版)(在docker中)。我有以下代码：
val config = HBaseConfiguration.create()
BasicConfigurator.configure()
config.set("hbase.zookeeper.quorum", "192.168.99.100")
config.set("hbase.zookeeper.property.clientPort","2181")
config.set("hbase.mast
浏览 43提问于2017-03-03得票数 1
1回答
我试图找出Hadoop缓存支持目录创建的符号链接。
它在分布式模式下工作良好。
它在本地模式下失败。
Javadoc /文档非常稀少，对此只字不提。
短版
我希望DistributedCache.addCacheFile(URI.create("file:/tmp/myfile#foo/bar"), conf)能够使/tmp/myfile在当前工作目录中以foo/bar的名称可用。
集群上一切都很好，但是在本地模式下失败了。基本上，LocalDistributedCacheManager.setup试图使用ln -s /tmp/myfile $cwd/foo
浏览 2提问于2015-10-07得票数 2
2回答
我已经设置了Hadoop2.6的单个节点集群，但我需要将zookeeper与其集成在一起。我是一个初学者，以前没有大数据工具的经验。如何设置动物园管理员来协调hadoop集群，以及如何在hdfs上使用hbase？它们是如何结合起来形成生态系统的？
浏览 7提问于2015-08-05得票数 0
回答已采纳
1回答
1.使用start-all.sh启动hadoop服务时，它会提示您是否确定要继续连接(是/否)如何抑制此提示，因为我正在通过脚本启动它，现在我正在使用expect模块，但我认为有一种更简单的方法可以做到这一点。
2.要卸载hadoop，如何恢复以下命令的效果？$HADOOP_HOME/bin/hadoop namenode-format
浏览 9提问于2014-07-27得票数 0
在爬行周期中，我们有许多任务/阶段，如注入、生成、获取、解析、更新、反向链接、去达率和索引作业。现在，我想知道，除了引用文件之外，还有什么方法可以获得爬行任务的状态(它是运行的还是失败的)？更准确地说，我想知道是否可以跟踪生成/提取/解析阶段的状态？任何帮助都将不胜感激。
浏览 2提问于2016-09-28得票数 2
回答已采纳
1回答
我知道在部署模式下运行Nutch是基于Hadoop的分布式爬行，但是当我们在本地模式下运行它时，我不能完全理解。在这种情况下，Nutch是否独立于Hadoop？本地模式下的爬行过程不是基于MapReduce吗？
浏览 0提问于2017-03-14得票数 0
我正在Hadoop上运行一个简单的计数程序。我的输入文件大小为4GB。由于某些原因，工作一直失败，错误如下：
但是，如果我对一个小输入文件(比如100 if )尝试相同的代码，它的工作就会非常好。我是新来的，我似乎找不到任何可行的解决办法。我的装置是分发的。
是否需要进行任何配置更改？我已经按照hadoop文档提供的方式为Psuedo分布式设置做了标准配置。
任何帮助都将不胜感激。
浏览 7提问于2017-04-12得票数 1
回答已采纳
2回答
我想实际观察一下HBase中的恢复是如何工作的，我使用了以下代码片段
Put p=new Put(Bytes.toBytes("name10"));
p.setWriteAheadLog(true);
p.add(Bytes.toBytes("cf"), Bytes.toBytes("name"),Bytes.toBytes("Some Value 10"));
table.setAutoFlush(true);
table.put(p);
在执行上述代码之后，我重新启动了VM (不停止HB
浏览 3提问于2013-03-18得票数 0
回答已采纳
1回答
我是hadoop的新手。我已经使用cloudera管理器在ubuntu 12.04上安装了cloudera hadoop。当我尝试使用cloudera的“测试安装”文档中给出的命令测试我的安装时，我的mapreduce作业停留在接受阶段，并且再也不会从那里继续。我必须杀了乔布。下面是我使用的命令：
sudo -u hdfs hadoop jar /usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar pi 10 1
在色调作业浏览器中，作业的状态为已接受。
任何形式的帮助都将不胜感激。
提前谢谢。
浏览 1提问于2015-04-27得票数 1
我得到的hadoop环境的特性或功能是否较少。当安装在使用虚拟机器的windows机器上时？对于初学者来说，安装这种hadoop是不是很好？或者hadoop安装在linux机器上和安装在windows机器上的虚拟机器上有什么不同。
浏览 4提问于2015-10-08得票数 0
我是刚认识Hadoop的。我已经在运行Ubuntu13.03的单个VM上配置了独立hadoop设置。使用start-all.sh启动hadoop进程后，jps命令显示
775 DataNode
1053 JobTracker
962 SecondaryNameNode
1365 Jps
1246 TaskTracker
590 NameNode
根据我的理解，Hadoop从1个namenode和1个datanode开始。我希望创建多个datanode进程，即datanode的多个实例。有什么办法我能做到吗？
浏览 5提问于2014-10-02得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
