在Hadoop FsShell (或hdfs命令)中是否有命令行来查看文件的拆分，或者查看文件在放入HDFS时是如何在数据节点上被拆分的？
浏览 1提问于2015-03-19得票数 0
回答已采纳
2回答
我有一些关于Hadoop街区的问题。我读到Hadoop使用HDFS，它将创建特定大小的块。第一个问题是正常文件系统(如NTFS )上硬盘上的实体块，即我们能看到托管文件系统(NTFS)上的块吗，或者只有它可以使用hadoop命令看到？第二个问题：是否在运行任务之前创建块--即只要有文件就存在块，或者hadoop只在运行任务时创建
浏览 2提问于2016-11-27得票数 2
回答已采纳
1回答
我在hdfs上有一个大小为11 gb的文件。我想把它分成1 gb的多个文件。我该怎么做呢？我的hadoop版本是2.7.3
浏览 2提问于2017-07-27得票数 0
我在HDFS中有一个大文件，希望将它分成多个块。但是，该文件在HDFS中，我不希望(不能)将其复制到本地文件系统中。如何对HDFS中的文件直接使用拆分命令？
浏览 0提问于2017-02-03得票数 0
如果我希望将文件从本地目录复制到HDFS，是否需要在每个Hadoop节点上物理复制该文件？或者，如果我使用hadoop dfs命令，Hadoop将在每个节点上内部创建此文件的副本？假设每个节点都需要一个文件副本，对吗？
浏览 1提问于2015-09-13得票数 1
我相信下面所有的命令都可以用来将hdfs文件复制到本地文件系统。有什么不同/情景利弊。( Hadoop新手在这里)。hadoop fs -text /hdfs_dir/* >> /local_dir/localfile.txt
hadoop fs -cat /hdfs_dir/* >> /local_dir/localfi
浏览 0提问于2014-09-19得票数 2
5回答
我想知道在hadoop中是否有命令/表达式可以仅获取文件名。我只需要获取文件的名称，当我执行hadoop fs -ls时，它会打印整个路径。
我在下面试过了，但只是想知道有没有更好的方法。hadoop fs -ls <HDFS_DIR>|cut -d ' ' -f17
浏览 307提问于2014-02-05得票数 33
回答已采纳
我们将在我们的数据湖项目中完成摄入阶段，在我的Hadoop开发经验中，我主要使用了hadoop fs -put。那么，hadoop distcp和用法有什么区别呢？
浏览 1提问于2017-03-30得票数 7
回答已采纳
在Hadoop中，考虑一个大文件已经加载到hdfs文件系统的场景，使用hdfs dfs put或hdfs dfs CopyFromLocal命令，大文件将被拆分成块(64MB)。在这种情况下，当需要创建customRecordReader来读取bigfile时，请解释使用FileSplit的原因，因为bigfile在文件加载过程中已经被拆分，并且以拆分</
浏览 3提问于2014-12-31得票数 0
如标题所示，我很困惑何时使用以“hdfs”和“hadoop”开头的命令
FYI，我是使用Cloudera4.6快速启动vm的hadoop新手。
浏览 6提问于2014-06-24得票数 3
回答已采纳
如果我转到http://ec2-****:8888/hue/home/上的色调链接，我可以访问色调仪表板，创建和保存文件等。但是，当我使用SSH浏览系统时，我无法看到这些文件。这些文件存储在系统中的什么位置？
浏览 1提问于2020-11-12得票数 4
3回答
我正在按照突出的实现Hadoop单节点集群。集群正在工作，通过jps检查显示所有组件在执行start-all.sh后都在运行。hduser@ubuntu:~$ ls -l /tmp/gutenberg/-rw-r:/usr/local/<
浏览 2提问于2015-05-07得票数 1
回答已采纳
在Hadoop3.0的终端上发出命令将文件从本地文件系统复制到HDFS时，会出现错误`hdfs://localhost:9000/user/Amit/hadoop-3.0.
浏览 0提问于2018-02-18得票数 1
回答已采纳
2回答
我是hadoop的新手。必须从EDS(企业数据源)移动文件，在那里我们有来自外部和内部供应商的数据，每天和每月。在eds中，我们有gzip文件。如何迁移到hdfs？
浏览 0提问于2016-12-08得票数 0
我理解其背后的一般概念，但我希望得到更多的澄清和一个明确的定义，什么是“客户”。
例如，如果我只是在终端上编写一个hdfs命令，它仍然是一个“客户端”吗？
浏览 7提问于2017-04-05得票数 12
回答已采纳
1回答
我正在尝试运行hadoop流映射-使用python减少作业。我一直收到这条错误信息，却不知道如何修复它。
这是我使用的命令。hdfs -jar /usr/local/hadoop/share/hadoop/tools/lib/hadoop-streaming-2.2.0.jar -input /input/ -outputException in thread "
浏览 3提问于2014-09-27得票数 0
回答已采纳
2回答
我在Hadoop有一个本地环境。它由存储在HDFS上的文件和一堆编写API调用并触发猪作业的python脚本组成。这些python作业是通过cron调度的。
我想了解在GCP中做类似事情的最佳方法。我知道我可以使用GCS作为HDFS的替代品。该Dataproc可用于拆分Hadoop集群并运行Pig作业。是否有可能将这些Python脚本存储到GCS中，有一个类似cr
浏览 10提问于2022-03-31得票数 2
回答已采纳
我是hadoop的新手。我最近在ubuntu 14.04操作系统上安装了Apache Hadoop 2.7.2的稳定版本。我正在尝试执行一些基本的Hadoop命令，如下所示该命令给出了正确的输出，如下所示。
我已经在之类的堆栈溢出上搜索了与此问题相关<em
浏览 0提问于2017-01-03得票数 1
我是hadoop的新手，我已经将Hadoop2.7.2安装在两台机器上，这两台机器是Masterandslave1。我跟踪了。本教程中没有提到这一点，但我也在hadoop-env.sh中编辑了JAVA_HOME和HADOOP_CONF_DIR变量。最后，我安装了两台机器hadoop。
浏览 1提问于2016-11-23得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
