腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
从
hdfs
加载
文件
csv
、
我试图将CSV
文件
上载到分布式
文件
系统
hdfs
中,其中包括: But I get the following error:
浏览 1
提问于2018-10-31
得票数 2
回答已采纳
2
回答
rxHadoopCopyFromLocal来自Windows
、
、
、
从Windows复制到远程
HDFS
的正确语法是什么?我试图使用RStudio将
文件
从本地计算机复制到远程hadoop集群这个扔了rxHadoopCopyFromLocal("C:\\path\\to\\file.csv", "/target/on
浏览 6
提问于2017-05-23
得票数 0
回答已采纳
2
回答
将
文件
上传
到hadoop
hdfs
?
大家好,我是使用hadoop的新手,这是我的大学工作,所以我正在做一些研究,我已经安装了hadoop-2.7.3,但我找不到路径,我应该在哪里
上传
文件
,以便通过hadoop本地主机检查它?此图显示了为数据节点和名称节点创建的
文件
夹
hdfs
文件
夹内部如有任何帮助,我们将不胜感激
浏览 2
提问于2016-10-31
得票数 0
2
回答
将
文件
从
HDFS
dir传输到sftp服务器
、
、
、
、
我正在尝试将所有部件*
文件
从一个目录直接从
HDFS
dir传输到sftp服务器。
hdfs
文件
夹中的所有
文件
都很大,所以我不想将它们复制到本地
文件
系统中。当前设置为 curl "<sftp_username>:" --key "<private_key_file_pa
浏览 8
提问于2021-11-22
得票数 0
2
回答
将文本
文件
上传
到
HDFS
(hadoop)的最快方法
、
、
我正在试图
上传
100万个文本
文件
到
HDFS
。因此,使用Eclipse
上传
这些
文件
大约需要2个小时。有谁能建议我做这件事的快速技巧吗?Iam的想法是:将所有文本
文件
压缩到一个zip中,然后将其
上传
到
HDFS
中,最后使用解压缩技术将这些
文件
解压缩到
HDFS
中。任何帮助都将不胜感激。
浏览 2
提问于2013-10-10
得票数 2
回答已采纳
1
回答
如何在向hadoop提交远程应用程序时设置jar路径?
、
、
1)我是否需要将jar
上传
到
hdfs
?如果我需要,我知道该怎么做 2)我只是想了解纱线的一些原理,如果我想提交申请,我需要
上传
这个罐子给主人吗?我能把jar
文件
上传
到主人的本地
文件
系统吗?
浏览 3
提问于2013-11-08
得票数 1
回答已采纳
1
回答
将Gogle colab中的
文件
从
文件
夹移动到
hdfs
、
我想要将
文件
从其路径"/content/lastfm-dataset-1K/userid-timestamp-artid-artname-traid-traname.tsv“移动到
hdfs
的/user/root/
文件
夹,但我不知道如何操作 ?
浏览 54
提问于2021-08-13
得票数 0
1
回答
HDFS
TO COS
上传
了
hdfs
上的
文件
到cos,哪怎么把
上传
到cos的
文件
直接下载到
hdfs
?
、
HDFS
TO COS
上传
了
hdfs
上的
文件
到cos,哪怎么把
上传
到cos的
文件
直接下载到
hdfs
?
浏览 601
提问于2019-02-13
1
回答
在hadoop mapreduce作业中使用多个本地
文件
夹作为源
、
我在多个本地
文件
夹中有数据,即/usr/bigboss/data1、/usr/bigboss/data2和更多
文件
夹。我想使用所有这些
文件
夹作为我的MapReduce命令的输入源,并将结果存储在
HDFS
中。我找不到一个有效的命令来使用Hadoop Grep示例来执行此操作。
浏览 2
提问于2012-05-16
得票数 0
回答已采纳
1
回答
在Amazon EMR-4上的Tez上运行Pig
、
、
org.apache.pig.backend.hadoop.executionengine.tez.TezJob (PigTezLauncher-0): Cannot submit DAG看起来安装脚本将tar.gz
文件
写入到
hd
浏览 0
提问于2016-04-15
得票数 1
2
回答
无法选择
上传
表选项卡下的
hdfs
文件
(配置单元视图- Ambari)
、
、
、
当我在Hive view (Ambari)中点击upload table选项卡下的浏览按钮时,我可以从我的本地
文件
系统(而不是沙箱本地
文件
系统)
上传
文件
。而且我无法从
HDFS
中选择
文件
。在界面中,没有从
HDFS
中选择
文件
的选项。有没有办法从
HDFS
中选择
文件
?
浏览 0
提问于2016-11-10
得票数 0
3
回答
第一个hadoop项目错误:“输入路径不存在”
当我使用以下代码指定In
文件
夹时:我收到这个错误: 13/03/03 22:05:27 ERRORPriviledgedActionException as:DEVUSER cause:org.apache.hadoop.mapred.InvalidInputException: Input path does not exist:
hdfs
://localhost:9100/use
浏览 1
提问于2013-03-04
得票数 12
回答已采纳
3
回答
Apache Livy cURL不工作火花提交命令。
、
、
、
、
我最近开始使用Scala、
HDFS
、sbt和Livy。目前我试图创建livy batch。Warning: Skip remote jar
hdfs
://localhost:9001/jar/project.jar. java.lang.ClassNotFoundException: SimpleApp我的星火提交命令在本地.jar
文件
中运行得非常好。因此,我在
hdfs
中转换.jar
文件
。
浏览 0
提问于2018-06-21
得票数 1
1
回答
将
文件
从wsl复制到运行在码头上的
hdfs
、
、
我正在尝试将
文件
从本地驱动器复制到
hdfs
。 我在码头上运行Hadoop作为图像。我尝试在MapReduce上执行一些练习,因此,我希望将数据
文件
从本地驱动器(假设我的d:驱动器)复制到
hdfs
。
浏览 2
提问于2018-12-27
得票数 0
回答已采纳
3
回答
通过http运行livy作业,而无需每次都
上传
jar
、
、
在livy examples
文件
夹中有一个
上传
到spark的构建作业的示例。我喜欢正在使用的接口,但我想通过http连接到livy/spark,因为我没有java客户端。这样看来,如果我使用livyclient
上传
jars,它只存在于那个spark会话中。有没有一种方法可以
上传
livyjob到spark,然后让它在整个spark中持久存在?算法x在spark中实现或不实现,但通过按下那个按钮,我想将数据放入spark中,无论是放入
hdfs
中,还是从elasticsearch中提取,或者其他什么。
浏览 2
提问于2018-05-12
得票数 1
2
回答
看不到
上传
到hadoop的
文件
、
、
pscp -P 22 part-00003 username@172.31.143.131:/home/username/lab2_
hdfs
part-00000 | 758 kB | 758.9 kB/s | ETA: 00:00:00 | 100% 但是当我使用
hdfs
dfs -ls时,我没有在我的hadoop
浏览 84
提问于2020-09-21
得票数 0
1
回答
Hbase进口错误
、
hbase org.apache.hadoop.hbase.mapreduce.Driver export 'tblname' /path/org.apache.hadoop.hbase.mapreduce.Driver导入“tblname”/
hdfs
/path 2015-06-24 02:PriviledgedActionException as:deeshank (auth:S
浏览 4
提问于2015-06-24
得票数 1
回答已采纳
1
回答
将
文件
副本分发给执行者
、
、
、
、
我有一堆数据(在S3上),我正在复制到本地
HDFS
(在amazon上)。现在我正在使用org.apache.hadoop.fs.FileUtil.copy来完成这个任务,但是还不清楚这是否会将
文件
副本分发给执行者。当然,在星火历史服务器中什么也没有出现。
浏览 4
提问于2018-12-06
得票数 0
1
回答
哪个更快,
上传
文件
到
HDFS
还是直接创建和写入
HDFS
文件
?
、
、
、
基本上,我有一个程序,它
上传
文件
到
HDFS
。这些
文件
是在任务执行结束时
上传
的。因此,很多任务同时(在执行结束时)将
文件
上传
到
HDFS
,从而造成争用。
文件
大小小于
HDFS
块(< 64 MB)。我想知道,提前创建
HDFS
文件
是否会更快(任务正在做一些处理以避免争用),然后在处理完成后,以字符串的形式读取本地
文件
的内容,然后将该字符串附加到已经预先创建的
H
浏览 1
提问于2016-04-26
得票数 1
回答已采纳
2
回答
星星之火:无法从
HDFS
加载拼板
文件
,直到将它们“放入”
hdfs
中。
、
、
、
、
我有一个c#应用程序,可以创建拼花
文件
并将其
上传
到远程
HDFS
。如果我使用scp将
文件
复制到安装了
HDFS
客户端的目标计算机上,然后"
hdfs
将该
文件
放入“
HDFS
中,那么spark可以正确地读取该
文件
。如果我使用curl对webhdf服务直接从客户端应用程序将该
文件
上传
到
HDFS
,则在尝试读取parquet
文件
时从Spark获得以下错误: df =
浏览 0
提问于2018-12-04
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
通过文件上传插件WebUploader实现文件上传
HDFS常用文件操作命令
文件上传
iOS 上传文件
文件上传漏洞
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券