sudo -u hdfs hadoop fs -copyFromLocal input.csv input.csv
copyFromLocal: `input.csv': No such file or我给了input.csv文件的所有权限，我甚至把所有者改成了hdfs。我是Hadoop和Hbase的新手。
浏览 1提问于2012-12-10得票数 3
1回答
我有两个疑问${HADOOP_HOME}/bin/hadoop dfs -ls
它只显示当前dir中的所有文件。那么，这是否意味着所有文件都是在没有我显式添加的情况
浏览 0提问于2014-02-27得票数 5
回答已采纳
HDFS以复制的形式存储数据，当我们使用SQOOP将数据从HDFS移动到RDBMS时，sqoop如何避免将重复数据从HDFS导出到RDBMS？
浏览 16提问于2020-05-19得票数 0
1回答
然后在HDFS上编写run.sh以继续使用Hadoop流的MapReduce。/user/name/20161231/user/name/20170102/us
浏览 14提问于2017-07-19得票数 0
回答已采纳
1回答
hadoop/tutorial/module2.html
<property> </property> <name>dfs.data.dir</name>
<value>
浏览 3提问于2014-11-20得票数 0
我试图使用rhdfs库从R读取一些HDFS文件(csv文本)。我使用以下代码：f = hdfs.file(hdfspath,"r")> object.size(m)当我检查从HDFS读取的对象的大小时，就会出现这个问题。我只读取HDFS文件系统中的一小部分记录。不管原始HDFS
浏览 0提问于2016-07-04得票数 0
回答已采纳
我有一个使用camel HDFS组件从hdfs读取文件的路由。camel HDFS组件以块的形式读取文件。那么，如何聚合所有块并写入文件或任何其他输出源。这样，拆分器就可以使用\n来逐条读取提取记录并执行进一步处理。
这里的HDFS文件很大。
浏览 5提问于2015-09-10得票数 0
查找有关如何使用Apache从hdfs集群读取拼板文件的建议。在集群中，有多个文件存在于单个目录下，想要在一个流程中全部读取。Nifi是否提供了一个内置组件来读取HDFS目录中的文件(本例中为parquet)？示例-目录中的3个文件-hdfs://ap
浏览 0提问于2018-11-09得票数 0
回答已采纳
我在HDFS中保存了一些来自Spark应用程序的结果，文件名为part-r-0000X (X= 0，1等)。而且，因为我想将整个内容连接到一个文件中，所以我使用以下命令：前面的命令在一个bash脚本中使用，该脚本将输出目录(保存part-r-...文件的位置)设为空，并在一个循环中执行上面的getmerge命令。问题是，我需要在另一个Spark程序中使用结果文件，该程序需要将合并后的文件作
浏览 12提问于2018-07-21得票数 1
回答已采纳
它包含hdfs文件路径。我想读取这些值，然后读取文件的内容。在没有任何嵌套RDD的情况下，利用并行处理解决这一问题的最佳方法是什么。我正在使用Scala2.11和Spark2.1| value||hdfs://61.81.70.1...||hdfs</e
浏览 0提问于2017-08-08得票数 0
我可以保存PyTorch自定义模型吗？(它可以运行任何1.0以上的PyTorch版本) torch.save(model, '&
浏览 10提问于2021-11-04得票数 0
我在hdfs目录中有一些输入文件。我需要读取特定代码的每个文件，并为hdfs路径本身中的每个输入文件生成输出文件。/bin/ksh
hdfs dfs -cp ${hdfs_input}* ${hdfs
浏览 1提问于2021-11-15得票数 0
我在HDFS中有以下目录。../HDFS/file/date=20200831/id=1/HDFS/file/date=20200902/id=1
/HDFS/file/
浏览 0提问于2020-09-30得票数 2
首先，我将我的文件放入DistributedCache："hdfs://localhost:8022/user/administrator我可以通过然后打印出来：
hdfsJob job = new Jo
浏览 0提问于2013-06-23得票数 1
2回答
从HDFS读取属性文件
、、、、
我试图读取HDFS上的一个Java属性文件，如下所示： properties.load(new FileInputStream("hdfs://user/hdfs/my_props.propertiesIOException e) {}
但是它似乎不起作用，我得到了"Properti
浏览 6提问于2015-03-10得票数 1
回答已采纳
我正在尝试读取保存在UNIX本地文件系统中的CSV文件，但在集群模式下运行时找不到该CSV文件。 在本地模式下，它可以读取HDFS和file:///文件。但是，在集群模式下，它只能读取HDFS文件。 有没有合适的方法可以在不复制到HDFS的情况下进行读取？
浏览 91提问于2021-10-14得票数 0
1回答
我的数据是相对较小的Avro记录形式，用Parquet文件编写(平均< 1mb)。我使用目录层次结构对数据进行了分区。我想知道在Avro记录上“构建”分区并积累更大的文件是否更好.但是，我认为分区Parquet文件也会“映射”到HDFS分区文件。
最好的办法是什么？我可以将所有这些保存在一个包含字段P1、P2、F1和F2的Avro文件中。不需要包含目录的分区结构，因为它都存在于Avro记录中。关于Par
浏览 5提问于2016-08-22得票数 0
2回答
了解Hadoop文件系统计数器
、、、、
我想了解hadoop中的文件系统计数器。在我运行的每个作业中，我观察到Map文件读取的字节数几乎等于HDFS读取的字节数。我观察到，映射程序写入的文件字节是映射器读取的文件字节和hdfs字节的总和。请帮帮我！本地文件和hdfs是否正在读取相同的数据，并且映射阶段是否将两者都写入本地文件系统？Map
浏览 5提问于2013-05-19得票数 4
3回答
HDFS中的文件可由单个writer.There写入，但不支持多个写入器或文件中任意偏移量的修改。你说的单一写入者和多个写入者是什么意思？有谁能澄清一下吗？
浏览 2提问于2014-03-23得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
