tar(tape archive)是一种常见的 Linux 打包工具,它主要用于将多个文件和目录打包成单个文件。tar 不会压缩文件,只是将文件集合在一起,以方便传输或备份。它的特点包括:
在 Linux 系统中,打包和压缩文件是常见的操作。不同的打包类型适用于不同的用途和需求。本文将详细介绍 5 种常见的 Linux 打包类型,包括tar、gzip、bzip2、zip 和 7z,以及它们的特点、使用方法和适用场景。
在Linux中,查找文件的也需要这两个条件,不同于Windows使用搜索框查找,Linux中使用 find 命令查找文件。
在Linux中可以识别的常见压缩格式有几十种,比如.zip、.gz、.bz2、.tar、.tar.gz、.tar.bz2等,Linux不支持.rar和.tz格式的压缩文件。 1、.zip格式:zip是Windows中最常见的压缩格式,Linux也可以正确识别,zip命令所在目录为/usr/bin/zip,所有用户可以执行,用来压缩文件或目录 命令格式:
例如使用『 tar -zcvfP tfile sfile』就是错误的写法,要写成
优点:压缩率比较高,而且压缩/解压速度也比较快;hadoop本身支持,在应用中处理gzip格式的文件就和直接处理文本一样;有hadoop native库;大部分linux系统都自带gzip命令,使用方便。
在windows下,我们接触最多的压缩文件是.rar格式的;但在Linux下,不能使用这种格式,它有自己独特的压缩工具。但.zip格式在windows和Linux下都能使用。使用压缩文件,不仅能节省磁盘空间,而且传输时还能节省网络宽带。
目前在Hadoop中用得比较多的有lzo,gzip,snappy,bzip2这4种压缩格式,笔者根据实践经验介绍一下这4种压缩格式的优缺点和应用场景,以便大家在实践中根据实际情况选择不同的压缩格式。
Linux 有三个常用的压缩命令:gzip、bzip2和 tar 。本文介绍它们的区别和简单用法。
版权声明:本文为博主原创文章,转载请注明博客地址: https://blog.csdn.net/zy010101/article/details/90673904
这将分别生成file1.txt.gz、file2.txt.gz、file3.txt.gz等压缩文件。
gzip(GNU zip)命令用来压缩和解压缩文件,是在 Linux 系统中经常使用的一个对文件进行压缩和解压缩的命令,采用 LZ77 无损压缩算法,压缩后的文件一般使用 .gz 后缀。
首先我们需要在Windows下安装7-ZIP软件,这个比较简单,到官网去下载,然后安装即可。安装7-ZIP软件的主要原因是因为Linux下很多文件是.bz2,.gz结尾的压缩文件,而7-ZIP软件可以在Windows环境下将文件压缩为这些格式,便于我们进行交互。
本文介绍了linux下的压缩程式tar、gzip、gunzip、bzip2、bunzip2、compress 、uncompress、 zip、 unzip、rar、unrar等程式,以及如何使用它们对.tar、.gz 、.tar.gz、.tgz、.bz2、.tar.bz2、.Z、. tar.Z、.zip、.rar这10种压缩文件进行操作
目前常见的Linux压缩命令包括有gzip、bzip2和最新的xz,下表是一些常见的压缩文件扩展名及对应指令关系:
对于文件的存储、传输、磁盘IO读取等操作在使用Hadoop生态圈的存储系统时是非常常见的,而文件的大小等直接影响了这些操作的速度以及对磁盘空间的消耗。
Hive 建设离线数据仓库通常符合:一次写入,多次读取。所以需要我们在建表的时候选择恰当的存储格式和数据的压缩模式。
说到文件管理,就不得不说到tar,因为tar可以压缩和解压缩linux文件,所以要先了解一下压缩和解压缩。
-多年互联网运维工作经验,曾负责过大规模集群架构自动化运维管理工作。 -擅长Web集群架构与自动化运维,曾负责国内某大型金融公司运维工作。 -devops项目经理兼DBA。 -开发过一套自动化运维平台(功能如下): 1)整合了各个公有云API,自主创建云主机。 2)ELK自动化收集日志功能。 3)Saltstack自动化运维统一配置管理工具。 4)Git、Jenkins自动化代码上线及自动化测试平台。 5)堡垒机,连接Linux、Windows平台及日志审计。 6)SQL执行及审批流程。 7)慢查询日志分析web界面。
zcat tools.txt.gz 查看压缩文件【tools.txt.gz】内容
文章作者ianzhi,原文地址:https://www.dnote.cn/users/ianzhi/posts/nginxpeizhijieshaoyuyouhua
另:有些服务器没有安装zip包执行不了zip命令,但基本上都可以用tar命令的,实例如下:
find 命令用于在指定目录下查找文件和目录。它提供了强大的搜索功能,可以根据不同的条件进行文件搜索和匹配。它可以在指定的起点目录及其子目录中递归搜索,根据文件名、大小、修改时间、权限等多种属性进行筛选。
原文链接:https://rumenz.com/rumenbiji/linux-file.html
unix2dos: converting file baby to DOS format ...
我们Hadoop 2.4集群默认不支持snappy压缩,但是最近有业务方说他们的部分数据是snappy压缩的(这部分数据由另外一个集群提供给他们时就是snappy压缩格式的)想迁移到到我们集群上面来进行计算,但是直接运行时报错:
tar命令可以为linux的文件和目录创建档案。利用tar,可以为某一特定文件创建档案(备份文件),也可以在档案中改变文件,或者向档案中加入新的文件。tar最初被用来在磁带上创建档案,现在,用户可以在任何设备上创建档案。利用tar命令,可以把一大堆的文件和目录全部打包成一个文件,这对于备份文件或将几个文件组合成为一个文件以便于网络传输是非常有用的。
Yarn上可以运行各种类型的分布式运算程序(mapreduce只是其中的一种),比如mapreduce、storm程序,spark程序等。
上一篇中,我们说了一些 Linux 的历史,讲解了一些 shell 的基本命令。本篇,我们在来说一下在 Linux 下,如何根据条件查找文件以及打包压缩指令。
因为 Linux中一切皆文件,所以在了解了 Linux基础和会使用一些入门级命令之后,接下来的重点便是 Linux文件管理的学习,就像 Java中一切皆对象一样,面向对象是 Java基础的核心和重点。该部分内容学习的重要性就像面向对象在 Java中重要性一样。这次的内容如下。
@TOC 06_Linux基础-NGINX和浏览器、网页的关系-云服务器ssh登陆-安装NGINX-上传网页-压缩命令-xz-gzip-bzip2-zip-tar-配置NGINX服务器支持下载功能-备份脚本 --- 一. NGINX和浏览器、网页的关系 nginx是一个web服务器 html语言编写网页 cd /usr/local/nginx html cd html/ (注:存放网页路径) 思考: 1.网页和nginx的关系 nginx将网页发送给浏览器 2.浏览器和nginx的关系
ls是英文单词list的简写,其功能为列出目录的内容,是用户最常用的命令之一,它类似于DOS下的dir命令。
135088935 -rw-------. 1 root root 1778 Oct 1 2020 yum.log比如这个只有读跟写的权限
gzip命令用于压缩文件,gzip是个使用广泛的压缩程序,文件经它压缩过后,其名称后面会多出".gz"的扩展名。基本语法如下:
提到CPU利用率,就必须理解时间片。什么是CPU时间片?我们现在所使用的Windows、Linux、Mac OS都是“多任务操作系统”,就是说他们可以“同时”运行多个程序,比如一边打开Chrome浏览器浏览网页还能一边听音乐。
工作上,需要配置 Nginx,要投入生产使用,做了一点优化工作,加上以前也经常折腾 Nginx,故记下一些优化工作。
Linux是目前应用最广泛的服务器操作系统,基于Unix,开源免费,由于系统的稳定性和安全性,市场占有率很高,几乎成为程序代码运行的最佳系统环境。linux不仅可以长时间的运行我们编写的程序代码,还可以安装在各种计算机硬件设备中,如手机、路由器等,Android程序最底层就是运行在linux系统上的。
HTTP 可以对传输的内容进行压缩,减少网络实际传输数据的大小。服务器会将资源进行压缩后传输到客户端,浏览器收到文件后进行解析。对于纯文本文件可以压缩到之前大小的30%-40%,大大提高了传输效率。
小白也能学会的 Linux 基础命令(中)
Linux是目前应用最广泛的服务器操作系统,基于Unix,开源免费,由于系统的稳定性和安全性,市场占有率很高,几乎成为程序代码运行的最佳系统环境。
一提到Linux命令,大家会想到最常用的cd、ls、rm、vi、tar等命令。那么大家知道这些命令是哪些英文单词的缩写吗?其实每个命令,背后都有它的含义。今天威哥就跟大家聊聊命令背后的小秘密~
secure boot 和FIT Image是前段时间接触到的,其实早就该总结下了,奈何懒癌犯了,拖了好久才写出来。
1.全局块:配置影响nginx全局的指令。一般有运行nginx服务器的用户组,nginx进程pid存放路径,日志存放路径,配置文件引入,允许生成worker process数等。
领取专属 10元无门槛券
手把手带您无忧上云