回答情况：
提问时间：
问题标签：
当我们运行hdfs fsck时，我们意识到有几个缺块。我们立即将删除的节点添加回集群。fsck仍然报告说有一些块丢失了。更新：
更正- namenode只拥有丢失块的元数据。真正的街区不见了。现在我们如何修复HBase以从区域服务器中删除这些数据块？
浏览 2修改于2012-07-19得票数 0
回答已采纳
我们的HDFS大小几乎是80T，而且我们有98%的可用容量！因此，我们正在考虑将HDFS复制因子从3降到2。我们来做个模拟，，但问题是-从以前的3个复制因子创建的第三个数据仍然存在于HDFS磁盘中。或者可能-没有任何选项删除旧的数据创建，因为预览复制因素？
浏览 0修改于2020-07-23得票数 1
回答已采纳
据我所知，当从一个硬盘文件系统位置移动到另一个硬盘文件系统位置时，没有直接的选项来覆盖HDFS中的文件，复制cp有强制选项。我在试着找出是否有黑客可以做到这一点？我们可以做的是hdfs dfs -cp -f /hdfs/location1 /hdfs/location2而不是hdfs dfs -mv -f /hdfs/location1/ /hdfs/location2/
浏览 50提问于2018-01-12得票数 4
我正在尝试将FLUME与HDFS集成，我的FLUME配置文件是hdfs-agent.sinks = hdfs-writehdfs-agent.sources.netcat-collect.port = 11111
hdfs-agent.sinks.hdfs-write.type = FILE_ROLLhdfs
浏览 28修改于2014-02-14得票数 1
回答已采纳
哪种工具是测量HDFS空间消耗的正确工具？
当我总结"hdfs dfs -du /“的输出时，与"hdfs dfsadmin -report”("DFS Used“行)相比，我总是得到较少的空间量。
浏览 0提问于2015-11-04得票数 5
我们有Hadoop版本- 2.6.4在一些磁盘上，我们有不同的使用大小，如SDB11G和SDD17G。在谷歌搜索之后，我找到了以下CLI (来自https://community.hortonworks.com/questions/19694/help-with-exception-from-hdfs-balancer.html)
hdfs balancer -Ddfs.balancer.movedWinWidth=540000
浏览 0提问于2019-03-07得票数 0
在datanode机器上，我们可以看到hdfs数据是不平衡的。在谷歌搜索之后，我找到了以下CLI (来自 )在我运行它之后，我们得到相同的<
浏览 1修改于2020-02-28得票数 1
我一直试图使用Java在HDFS上创建和维护序列文件，而不运行MapReduce作业作为未来MapReduce作业的设置。// fs and conf are set up for HDFS, not as a LocalFileSystem
seqWriter = SequenceFile.createWriter(fs
浏览 2提问于2011-04-08得票数 4
我正在尝试将数据从本地edgenode作为管道发送到hdfs。其目的是模拟来自外部服务器的数据经过边缘节点，命中管道，然后将其放入hdfs。这是我们的要求。我已经尝试了下面的命令，但它似乎停止了。mkfifo my_pipe
cat mysqlfile.sql my_pipe & cat pipe | hdfs dfs -put /user/bob/test.txt
浏览 0提问于2016-10-17得票数 1
我想通过python模块" hdfs“远程上传文件到我的hdfs。我的hadoop在我的linux上运行，但我想远程上传文件在我的windows(或其他计算机)。当我使用如下代码时：client = InsecureClient('http://xx.xx.xx.xx:50070', user='
浏览 1提问于2017-03-22得票数 2
Hi正在尝试使用Java从HDFS读取一个文件。 at org.apache.hadoop.hdfs.DFSClient$DFSInputStream.chooseDataNode(DFSClient.java:2266)
at org.apache.hadoop.hdfs.DFSClient$DFSIn
浏览 12修改于2013-10-22得票数 0
我有一个应用程序，它可以将大量文件从S3等源文件复制到HDFS中。该应用程序在内部使用apache distcp，并通过流式传输将每个单独的文件从源文件复制到HDFS。当我选择复制所有列时，写入失败并显示以下错误:-2014-05-20 23:57:35,939 WARN org.apache.ha
浏览 0修改于2014-05-21得票数 3
我正在运行一个基于hdfs集群的hdfs版本2.9.1。这个集群由Spark (针对hdfs客户端2.9.1构建)和使用hdfs 2.9.1的独立scala/java程序使用。我想逐步升级安装到hdfs 3..而不会破坏太多。我还没有找到一个关于hdfs服务器和hdfs客户机之间兼容性的平易近人的指南。
是否可以先升级hdfs客户端，然后升级hdfs文件系统？还是反过来？
浏览 4提问于2020-07-06得票数 0
我需要将许多文件从一个hdfs dir移动到同一个集群中的另一个hdfs dir (而不是复制)。不幸的是，我对hdfs重命名的性能特性还不太了解；您认为我可以用单线程方法来重命名文件吗？
浏览 2提问于2014-01-07得票数 2
回答已采纳
1回答
根据这一理论，当一个文件被复制到HDFS文件系统中时，它将被分割为128 MB块。然后将每个块复制到不同的数据节点中，然后复制到数据节点中。问题：
当我将数据文件(~500 MB)从本地文件系统复制到HDFS (put命令)时，HDFS (-ls命令)中仍然存在整个文件。我本来想看到128 MB的块。我在这里做错什么了？如果假设我设法在HDFS中拆分和分发数据文件，是否有一种将原始文件组合并检索回本地文件系统的方法？
浏览 3提问于2015-05-20得票数 3
回答已采纳
我在HDFS中有大约1500个XML文件，每个文件大约2-3 3Gb。我需要编写一个python脚本来解析XML文件来执行MapReduce。然而，我在使用python访问HDFS中的文件时遇到了问题。def connection():Traceback (most recent c
浏览 6修改于2018-12-07得票数 2
1回答
如何在我的系统中找到HDFS存储的完整路径？例如，我在hdfs存储上有/user/cloudera/文件夹，但是通向"/user/cloudera“的路径是什么？有什么具体的命令吗？HDFS dfs -ls和HDFS dfs -ls -R只返回目录列表，而不返回路径。
我的问题是唯一的，因为在中，最终无法得到HDFS路径。
浏览 3修改于2019-03-06得票数 1
回答已采纳
1回答
尝试在我的实验室设置一个hdfs系统来服务我的数据(我不打算使用mapreduce)。我需要第二次命名节点吗？我真的需要这两个文件，尽管我只是想要hdfs？如果我需要的话，里面应该放什么？我假设我的主从和数据节点是奴隶？我需要从节点吗？
浏览 0提问于2010-10-18得票数 0
腾讯云开发者
