腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
如
何在
hadoop
中
按年/日/时创建
文件夹
、
我有问题,如
何在
hadoop
中
创建
文件夹
,但命名路径
文件夹
的年,日期,时间?示例:/user/
hdfs
/2015/10/10/0000 hadoop fs -mkdir /user/
hdfs
/2015/10如何使用hadoop fs -mkdir获取路径
文件夹
,
如
/use
浏览 3
提问于2015-10-22
得票数 1
2
回答
Hadoop:
hdfs
-text的倒数
、
、
、
在Hadoop
中
,
hdfs
dfs -text和
hdfs
dfs -getmerge命令允许从命令行轻松读取
HDFS
中
压缩
文件的内容,包括连接到其他命令进行处理(例如wc -l <(
hdfs
dfs -这些命令是否相互对应,允许将内容从命令行()推送到
HDFS
,同时支持与上述命令相同的
压缩
和格式特性?
hdfs
dfs -put似乎只是将本地文件的原始副本复制到
HDFS
,而不需要
压缩</
浏览 4
提问于2016-03-15
得票数 1
回答已采纳
3
回答
合并
HDFS
上的
压缩
文件
、
、
、
如
何在
不通过本地机器复制数据的情况下,将
HDFS
上的所有文件合并到一个
压缩
文件
中
(我知道这些文件都是
压缩
的)?例如,但不一定要用猪?例如,我有一个
文件夹
/数据/输入,其中包含文件part-m-00000.gz和-m-00001.gz。现在,我想将它们合并到一个文件/data/output/foo.gz
中
。
浏览 0
提问于2015-05-06
得票数 4
6
回答
如何解
压缩
hadoop中新目录
中
的.gz文件?
、
、
我在
hdfs
的一个
文件夹
中有一堆.gz文件。我希望将所有这些.gz文件解
压缩
到
hdfs
中
的一个新
文件夹
中
。我该怎么做?
浏览 6
提问于2016-01-03
得票数 19
回答已采纳
1
回答
计算
hdfs
中
的
压缩
文件数
、
、
、
、
我正在尝试计算在
Hdfs
文件夹
中
压缩
的文件。我使用的是
hdfs
dfs -count /user/data grep .snappy --它没有显示任何grep .snappy \
hdfs
dfs -count /user/data --它显示了所有文件我能得到正确的命令来计数这个/user/data
hdfs
路径
中
的.snappy文件吗?
浏览 0
提问于2016-01-11
得票数 2
回答已采纳
1
回答
将文件解
压缩
为上载到
HDFS
、
我有我想上传到
HDFS
的数据
文件夹
是大约250 GB
压缩
,我不知道有多少gz文件在那里。 我想上传到
HDFS
,但他们应该被解压。还是编写一个脚本文件,逐个解
压缩
并上传到
hdfs
是唯一的方法?
浏览 1
提问于2018-11-16
得票数 0
回答已采纳
2
回答
包含与Hadoop编程的多个无关csv文件的Untar文件
、
、
、
、
我的
hdfs
中有几个
压缩
文件(.tar.gz),其中包含不相关的tsv文件(类似于下面的列表)。我想以编程方式解
压缩
这些
文件夹
,可能会利用MPP架构(例如Hadoop或Spark)并将它们保存到
hdfs
中
。operating_systems.tsv- referrer_type.tsv- search_engine.tsv 到目前为止,我只能想出一个bash脚本,它可以从
hdfs
下载每个文件,解
压
浏览 8
提问于2020-12-03
得票数 2
回答已采纳
1
回答
C# -
压缩
gzip
中
的文件和
文件夹
、
、
、
、
我需要创建一个
压缩
文件(rar,gz或其他女巫支持大文件和大
压缩
文件)。我需要创建
文件夹
并添加由
文件夹
分隔的文件。例子:我有这样的
文件夹
结构 Folder 1.1 Folder 1.3 Folder 2.1 Folder 2.1.1在每个
文件夹
中
我都有一些文件。我需要在
压缩
文件
中
复制
压缩
结构
压缩
压缩
有
浏览 2
提问于2016-03-10
得票数 0
回答已采纳
1
回答
$HADOOP_COMMON_HOME和$HADOOP_
HDFS
_HOME的值是否相同?
、
、
、
、
我知道应该将$HADOOP_COMMON_HOME设置为Hadoop目录的根路径,但是$HADOOP_
HDFS
_HOME的值是什么,是同一个值吗? 它的价值应该是什么?
浏览 0
提问于2012-09-07
得票数 3
1
回答
将目录
中
的Hadoop解
压缩
文件分别移动到另一个
文件夹
。
、
、
、
我正在尝试解
压缩
HDFS
中
的数百个文件,并将每个文件分别移动到另一个
文件夹
,以便将其加载到Hive
中
的外部表
中
。我尝试了以下命令,但它只给出了一个在目标目录
中
没有名称的联接文件。 我需要(例如)100个<em
浏览 2
提问于2021-12-02
得票数 0
回答已采纳
2
回答
如何将Hadoop目录
压缩
为单个gzip文件?
、
、
、
、
我有一个目录,其中包含很多文件和子目录,我想从
hdfs
压缩
并导出到fs。提前谢谢。
浏览 5
提问于2017-05-29
得票数 3
回答已采纳
1
回答
如
何在
HDFS
中
压缩
文件夹
?
就像Unix命令tar -czf xxx.tgz xxx/一样,有没有一种方法可以在
HDFS
中
做同样的事情?我在
HDFS
中有一个
文件夹
,里面有超过10万个小文件,我想尽快把它下载到本地文件系统
中
。
浏览 27
提问于2020-02-27
得票数 0
回答已采纳
1
回答
以编程方式将文件写入
HDFS
、
我正在寻找Java程序
中
的选项,这些选项可以将文件写入
HDFS
,并满足以下要求。我知道如何通过打开显示为的FSDataOutputStream将数据写入到
HDFS
上的文件
中
。我偶然发现了Flume,它提供了
HDFS
接收器,可以支持事务、
压缩
、文件轮换等。但它似乎没有提供一个可以用作库的API
浏览 1
提问于2013-04-30
得票数 1
1
回答
Pyspark 1.6文件
压缩
问题
、
并试图通过
压缩
将文本转换为其他文件格式(
如
Json、csv等) (gzip、lz4、snappy等)。但无法看到
压缩
的工作原理。选项1:sqlContext.setConf("spark.sql.parquet.compression.codec", "snap
浏览 2
提问于2017-07-21
得票数 0
1
回答
如
何在
Java
中
组合多个.gz文件?
、
、
gz文件在一个目录
中
。我想将它们合并到一个大的.gz文件
中
,然后解
压缩
并加载到
HDFS
中
。请指点。提前谢谢。
浏览 2
提问于2014-05-09
得票数 0
回答已采纳
1
回答
Hadoop上的外部/jar文件存储在哪里?
、
、
现在,当调用这个jar文件的方法的作业运行时,这个jar文件MyJar文件将存储在
HDFS
上的什么地方?
浏览 2
提问于2012-07-15
得票数 0
回答已采纳
1
回答
将文件从本地文件系统复制到
hdfs
时发出的问题
、
hdfs
dfs -copyFromLocal /home/osboxes/sample new copyFromLocal:‘`new':没有这样的文件或目录“
浏览 0
提问于2018-02-25
得票数 0
4
回答
计算通过BufferedWriter编写的由GZIPOutputStream生成的写入文件的字节数
、
、
、
如下所示: new GZIPOutputStream(
hdfs
.create(filepath, true )))); writer.write(line);
hdfs
= FileSystem.get( new URI( "
hdfs
:/
浏览 3
提问于2014-08-29
得票数 2
回答已采纳
2
回答
为什么hadoop不能拆分一个大文本文件,然后使用gzip
压缩
分片呢?
、
、
、
我最近一直在研究hadoop和
HDFS
。当您将文件加载到
HDFS
中
时,它通常会将文件拆分为64 it块,并将这些块分布在集群周围。但是为什么
HDFS
不能将一个纯文本文件作为输入并像普通的那样分割它,然后使用gzip分别
压缩
每个拆分呢?当任何分割被访问时,它只是在动态地解压。这看
浏览 1
提问于2011-06-28
得票数 7
2
回答
oozie -在单元操作中使用存档文件
、
、
、
、
在Oozie Hive2操作
中
,我试图从
压缩
的'.zip‘文件
中
的'.csv’文件加载蜂窝表。为了通过Oozie Hive操作工作流读取*.zip
中
的文件,Hive操作提供了“归档”标记元素。只需在“存档”标记元素
中
声明Zip文件,如下所示,在“存档”元素
中
“#”之后的引用是要读取解
压缩
文件的临时
文件夹
的名称可
浏览 0
提问于2016-08-26
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
如何在Excel表格中快速制作文件夹标签?
如何在Excel表格中制作个性化的文件夹侧标签?
如何在 Linux的Nautilus 文件管理器中以管理员身份打开文件和文件夹
Hadoop集群搭建和简单应用
Hadoop之HDFS的shell操作
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
活动推荐
运营活动
广告
关闭
领券