我正在将Hadoop1.0.4代码迁移到Hadoop2.3平台，并且遇到了DistributedCache的奇怪行为变化：
在Hadoop1中，如果我们想在/user/foo/file/bar/name.avro中缓存一个文件，DistributedCache会将该文件复制到本地缓存文件夹中，并相应地创建相同的子目录。因此，文件存储在/[ROOT_OF_TMP_CACHE_DIR]/
浏览 6提问于2014-10-15得票数 0
我对hadoop完全陌生，刚安装完它花了我两天时间.我现在正在尝试使用hadoop命令，但我只是无法理解它，尽管我已经浏览了几天，但我无法找到我想知道的答案。但是HDFS数据实际上存储在哪里呢？我以为它会存储在我的datanode目录(/home/hadoop/datastore)中，该目录是在hadoop.tmp.dir下的core-site.xml中定义的，但它并不存在。然后我尝试通过WEB查看，发现"input“是在"/u
浏览 2提问于2012-07-30得票数 8
2回答
我有一些存储在Azure存储中的文件要复制到HDFS中。我正在尝试使用fs -copyFromLocal。当我从C驱动器复制时，它工作正常，当我尝试使用wasb路径从blob存储复制到blob容器时，我得到了一个错误的FS错误。我怀疑从本地复制是错误的工具。如何从容器复制到HDFS。
浏览 0提问于2013-11-18得票数 0
3回答
Hadoop2.0JAR文件
、、、、
错误如下：
顺便提一句，我找不到这个版本所需的所有JAR文件。我读过以下类似问题的解决方案：。我尝试使用旧的JAR文件来解决这些问题，但是新的错误不断发生。
有人能解决这个问题吗？我正在使用NetBeans，如果这与某些原因有任何不同
浏览 2提问于2013-12-24得票数 3
回答已采纳
我正在研究使用Hadoop集群上的Hive，然后使用Presto对Hadoop中存储的数据进行一些分析，但我仍然对一些事情感到困惑：
Hadoop和Hive是分开存储数据还是Hive仅仅使用Hadoop中的文件？(在硬盘空间等方面？)->是这样
浏览 3提问于2014-01-24得票数 1
回答已采纳
1回答
假设有一个265 MB的文件被复制到Hadoop集群，HDFS块大小为64 MB。因此，文件被分成5部分- 64 MB + 64 MB +9 MB，并且分布在数据节点之间。对吗？我怀疑64 MB块中是否存在存储数据的格式？
如果在块中存储数据的格式/结构，则存储的数据应该小于64 MB，因为数据结构/标头等本身可能占用一些空间。因为HDFS数据节点是一个逻辑文件系统(它运行在linux之上，并且没有单独的HDFS分区)，所以所有的块都应该作为<e
浏览 3提问于2015-01-10得票数 2
回答已采纳
我正在研究Hadoop和云存储。所以很奇怪，Hadoop能像Dropbox或者Google一样使用吗？
浏览 2提问于2017-05-02得票数 1
回答已采纳
因此，我在理解我应该如何存储大文件时遇到了一些问题。例如，我的HDFS中的块大小是128MB，而我有一个1 1GB的文件。
我知道保存小于块大小的文件不是最佳实践，我理解其中的原因。但是我应该如何处理大文件，对于我的1 1GB文件，我应该保存1个文件还是8个128MB的文件，为什么？
浏览 20提问于2019-10-29得票数 2
回答已采纳
1回答
我对Hadoop很陌生，并开始学习它。关于HDFS数据的分发，我有一个问题。
我们最初将在哪里加载数据？关于Node大师？Hadoop是否在集群上自行分发数据？还是我们必须自己做？
浏览 2提问于2017-05-11得票数 0
我已经在ubuntu12.04上安装了hadoop-2.2.0。现在我想存储2-4KB的xml文件。有人能指点我该怎么做吗？
浏览 4提问于2014-03-24得票数 0
回答已采纳
我正在使用Hadoop来处理Google Books ngram，这些ngram在亚马逊S3中存储为Hadoop序列文件。S3包含从Hadoop读取数据的功能(使用Hadoop存储桶作为虚拟的“文件系统”)，只需在文件名上指定s3://或s3n://协议即可。
不幸的是，它需要您设置您的AWS访问权限和密钥。因为我想要读取的存储桶是公共的，所以我没有任何密钥可用。如果我使用我自
浏览 0提问于2012-06-21得票数 4
如果我希望将文件从本地目录复制到HDFS，是否需要在每个Hadoop节点上物理复制该文件？或者，如果我使用hadoop dfs命令，Hadoop将在每个节点上内部创建此文件的副本？假设每个节点都需要一个文件副本，对吗？
浏览 1提问于2015-09-13得票数 1
在格式化后第一次尝试启动namenode时，我收到了以下错误：
/usr/lib/hadoop-hdfs/bin/hdfs:第206行: exec：：not
请就同样的问题提出一些建议。FYI:我也更新了.bashrc文件中的libexec路径细节。仍然有同样的问题。
浏览 6提问于2014-09-30得票数 0
回答已采纳
我们总是说，如果我们使用hadoop来模仿我们的数据和程序，那么速度会有多快。我想知道，是否有可能将一个小文件保存在一个特定的dataNode(而不是paralleized)中？
浏览 3提问于2017-11-27得票数 0
回答已采纳
日安，hadoop fs -put query1.txt .
现在我想删除它，但我不知道该文件的HDFS位置。有什么方法可以移除它吗？
浏览 0提问于2014-02-12得票数 0
我试图解压缩一个zip文件，存储在Hadoop文件系统中，并将其存储在hadoop文件系统中。我试着遵循命令，但没有一条有效。hadoop fs -cat /tmp/test.zip|gzip -d|hadoop fs -put - /tmp/
hadoop fs -cat /tmp/test.zip|gzip -d|hadoopfs -p
浏览 7提问于2015-03-17得票数 14
------------------------------------------------------------------[WARNING] The POM for org.apache.hadoop:hadoop-test:jar:0.23.10 is missing, no depend
浏览 0提问于2014-05-14得票数 0
2回答
我在AWS云上创建了一台具有AWS根卷的8 GB Linux机器，然后部署了hadoop，并在该机器上创建了单节点集群。none 100M 0 100M 0% /run/user
/dev/
浏览 5提问于2017-12-15得票数 0
回答已采纳
2回答
这篇来自微软：的文章假设上述信息是方法，那么hadoop和存储帐户之间有什么区别。如果我只想存储文件等信息，我可以只使用存储帐户，而不是创建hdinsight hadoop？此外，如果hadoop 'hadoopCluster‘使用存储帐户'stgAccount’，这是否意味着存储帐户'stgAccoun
浏览 3提问于2015-09-01得票数 0
运行Hadoop系统将运行一些守护进程作业，如namenode、日志节点等。我将以namenode为例。当我们启动namenode时，可以使用命令: hadoop-daemon.sh启动namenode
当我们停止namenode时，我们可以使用命令: hadoop-daemon.sh停止namenode
浏览 3提问于2016-01-07得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
