uniq命令本身被用作去除文本文件中的重复行，与sort命令相似，但是始终还是有区别的。文本文件在Linux中，既可以是txt，也可以是其他任意自定义格式。
Linux grep命令用于查找文件里符合条件的字符串；也可以用于查找内容包含指定的范本样式的文件。它能使用正则表达式搜索，用于在文件中搜索指定的字符串模式，列出含有匹配模式子符串的文件名，并输出含有该字符串的文本行。
Linux下的标准输入、输出、重定向、管道 在Linux系统中，有4个特殊的符号，<, ‘>’, ‘|’, ‘-‘，在我们处理输入和输出时存在重要但具有迷惑性的作用。 默认Linux的命令的结果都是输出到标准输出，错误信息 (比如命令未找到或文件格式识别错误等) 输出到标准错误，而标准输出和标准错误默认都会显示到屏幕上。 >表示重定向标准输出，> filename就是把标准输出存储到文件filename里面。标准错误还是会显示在屏幕上。 2 >&1 表示把标准错误重定向到标准输出。Linux终端用2表示标准
cat filename | tail -n +3000 | head -n 1000
Sed is a stream editor. sed全称是：stream editor 流编辑器 对文件的操作无非就是”增删改查“，sed命令就是实现对文件的”增删改查“。
Linux的浩瀚无垠，使人总能每次都提交与众不同的内容。这些内容不仅对他们的职业生涯很有用，同时也让他们增长知识。在此，我们就尝试这么去做，至于能取得多大的成功，就由我们的读者朋友们来判断吧。
cut 命令在Linux和Unix中的作用是从文件中的每一行中截取出一些部分，并输出到标准输出中。我们可以使用 cut 命令从一行字符串中于以字节，字符，字段（分隔符）等单位截取一部分内容出来。
我们分别在windows系统和linux系统上使用代码做以下操作： 输出"HelloWorld"十次，每次输出后暂停500毫秒。
Linux系统中grep命令是一种强大的文本搜索工具，它能使用正则表达式搜索文本，并把匹 配的行打印出来。grep全称是Global Regular Expression Print，表示全局正则表达式版本，它的使用权限是所有用户。
循环中的重定向 或许你应该在其他脚本中见过下面的这种写法： while read line do … done < file 刚开始看到这种结构时，很难理解< file是如何与循环配合在一起工作的。因为循环内有很多条命令，而我们之前接触的重定向都是为一条命令工作的。这里有一个原则，这个原则掌握好了，这个问题就很简单了： 对循环重定向的输入可适用于循环中的所有需要从标准输入读取数据的命令； 对循环重定向的输出可适用于循环中的所有需要向标准输出写入数据的命令； 当在循环内部显式地使用输入或输出重定向，内部重定向覆盖外部重定向。 上面的while结构中，read命令是需要从标准输入中读取数据的。我们来详细了解一下read命令的用法吧，这个命令是shell脚本中使用频率最高的命令之一。 read 先来看一下read的命令语法： read arg1 arg2 arg3 arg4 … read是一个用来赋值的命令，它需要从标准输入获得值，然后把这些值按位置依次赋值给变量arg1、arg2、arg3、arg4…，输入的时候以空格作为字段分隔符。 read的一个最大特性是可以在脚本中产生交互，因为它从标准输入读取数据。read之所以很常用，一是因为我们经常需要赋值，二是因为它可以交互，三是read能够一次给多个变量赋值。 readhostipnamelinux10.0.0.1licongreadhostipnamelinux10.0.0.1licong read host ip name linux 10.0.0.1 licong echo hosthosthost ip namelinux10.0.0.1licongnamelinux10.0.0.1licongname linux 10.0.0.1 licong 可以看到，linux、10.0.0.1、licong分别被赋值给了变量host、ip和name。再看： readhostiplinux10.0.0.1licongreadhostiplinux10.0.0.1licong read host ip linux 10.0.0.1 licong echo hostlinuxhostlinuxhost linux echo ip10.0.0.1licongip10.0.0.1licongip 10.0.0.1 licong 当我们输入的字段比变量数目多时，最后一个变量的值将不只一个字段，而是所有剩余的内容；当输入字段比变量数少时，多余的变量将是空值，你可以自己试试。现在我们再来看 while read line do … done < file read通过输入重定向，把file的第一行所有的内容赋值给变量line，循环体内的命令一般包含对变量line的处理；然后循环处理file的第二行、第三行。。。一直到file的最后一行。还记得while根据其后的命令退出状态来判断是否执行循环体吗？是的，read命令也有退出状态，当它从文件file中读到内容时，退出状态为0，循环继续惊醒；当read从文件中读完最后一行后，下次便没有内容可读了，此时read的退出状态为非0，所以循环才会退出。 另一种也很常见的用法： command | while read line do … done 如果你还记得管道的用法，这个结构应该不难理解吧。command命令的输出作为read循环的输入，这种结构长用于处理超过一行的输出，当然awk也很擅长做这种事
Linux sed 命令是利用脚本来处理文本文件。sed 可依照脚本的指令来处理、编辑文本文件。Sed 主要用来自动编辑一个或多个文件、简化对文件的反复操作、编写转换程序等。
转载自 https://www.cnblogs.com/wangkongming/p/3852328.html
语法 sed [-hnV][-e<script>][-f<script文件>][文本文件]
grep、sed、awk被称为文本处理三剑客。对于纯文本来说，没有这三个工具干不了的事情，并且效率也不低。今天给大家介绍一下其中的sed。
说明：Linux pstree命令将所有行程以树状图显示，树状图将会以 pid (如果有指定) 如果有指定使用者 id，则树状图会只显示该使用者所拥有的行程。
cat的功能是将文件从第一行开始连续的将内容输出在屏幕上。当文件大，行数比较多时，屏幕无法全部容下时，只能看到一部分内容。
echo 在linux帮助文档的描述是显示一行文本，类似于python和java等编程语言中的print语句，实际上它的作用不仅仅如此。可以使用man echo查看详细的参数说明。
sed是一种流编辑器，也是文本处理中非常好的工具，配合正则使用更强大处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”，接着用sed命令处理缓冲区的内容，完成后输出到屏幕，接着处理下一行
Linux本身有一个生成随机数的设备，也就是/dev/random或者/dev/urandom。通过读取这个随机数设备我们就不需要安装任何的加密库就能得到随机数了，也能用它生成UUID字符串。
AWK 脚本的结构 1 awk ' BEGIN{ print "start" } pattern { commands } END{ print "end" } file awk 脚本通常由3部分组成。 BEGIN ， END 和带模式匹配选项的常见语句块。这3个部分都是可 选项，在脚本中可省略任意部分。 AWK 脚本的执行 一、在命令行中执行 AWK 脚本 AWK 脚本包含在单引号之间 1 awk 'BEGIN { statements } { statements } END { end state
在Linux/UNIX系统中，awk是一个功能强大的编辑工具，逐行读取输入文本，并根据指定的匹配模式进行查找，对符合条件的内容进行格式化输出或者过滤处理，可以在无交互的情况下实现相当复杂的文本操作，被广泛应用于Shell脚本，完成各种自动化配置任务。
原文：https://opensource.com/article/19/10/advanced-awk
Grep是用于快速搜索匹配模式的简单工具，但是awk更像是一种编程语言，用于处理文件并根据输入值生成输出。
1)在当前目录中，查找后缀有 file 字样的文件中包含 test 字符串的文件，并打印出该字符串的行。此时，可以使用如下命令：
sed是一种流编辑器，也是文本处理中非常好的工具，配合正则使用更强大处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”，接着用sed命令处理缓冲区的内容，完成后输出到屏幕，接着处理下一行。文件内容并没有改变，除非使用-i选项。sed主要用来编辑一个或多个文件，简化对文件的反复操作或者用来编写转换程序等。
date - print or set the system date and time
先来说说sed命令的原理和一些概念，sed之所以能以行为单位的编辑或修改文本，其原因在于它使用了两个空间：一个是活动的“模式空间（pattern space）”，另一个是起辅助作用的“暂存缓冲区（holdingspace）这2个空间的使用。
rgrep命令等同于 grep -r 命令，主要是用于递归查找文件里符合条件的字符串，基本语法格式如下：
grep命令可以说是Linux下面最常用的文本处理工具了，那么究竟我们可以用grep命令做什么了？首先我们想一想在windows下是我们是如何在整个文本中寻找我们所需的内容的，比如说我想在grep.txt文档中寻找字符串"hello"，肯定不是一行一行用眼睛去扫描，我们只需要打开该文件，使用快捷键Ctrl+F然后在弹出的小框中输入我们要查的”hello”，就能迅速的定位到”hello”字符串了。好了，现在我们可以说说grep了，其实很简单，它的功能和前面所讲windows下的组合键Ctrl+F类似，都是方便我们用来搜索文本的。
****sed简介**** sed 是一种在线编辑器，它一次处理一行内容。处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”（pattern space），接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。接着处理下一行，这样不断重复，直到文件末尾。文件内容并没有 改变，sed只是对缓冲区中原始文件的副本进行编辑，并不是编辑原始的文件。除非你使用重定向存储输出或者使用使用sed编辑命令中的w选项。Sed主要用来自动编辑一个或多个文件；简化对文件的反复操作。 ---- ****
在 Linux 的命令行世界里，有三个强大的文本处理工具：grep、sed 和 awk。它们被统称为 "Linux 三剑客"，它们各自拥有独特的功能，可以帮助我们高效地进行各种文本处理任务。让我们一一了解它们。
AI摘要：本文是一个关于Linux中`grep`命令的详细教程，介绍了`grep`的基本用法、常用参数、以及多个实用示例。`grep`命令用于在文件中搜索指定的字符串或正则表达式，并输出匹配的行。介绍的参数包括忽略大小写（-i）、反向匹配（-v）、显示行号（-n）、统计匹配行数（-c）、递归搜索（-r或-R）、使用正则表达式（-E）等。示例部分展示了如何使用这些参数进行基本搜索、忽略大小写的搜索、反向匹配、显示行号、统计匹配行数、递归搜索、使用正则表达式、匹配整个单词或整行、显示匹配行及其前后行、指定多个模式、只输出匹配的部分、搜索包含空格的字符串，以及搜索以特定字符开头或结尾的行。文章强调了掌握`grep`命令的重要性，并鼓励通过练习来熟练运用这些技巧。
我们在写代码的过程中，免不了会对代码进行一些修修改改。但经常会出现改着改着，就不知道改完后与源文件的差异是怎样的。这里，我们就需要一个文本比对工具来进行文本比对。
Linux/UNIX中的sed命令是Stream Editor文本流编辑的缩写，它能同时处理多个文件多行的内容，比如文搜索，查找和替换，插入或删除。虽然sed命令在Linux/UNIX中最常见的用途是替代或查找。通过使用sed，您甚至可以在不打开文件的情况下编辑文件，这比先在VI编辑器中打开文件然后更改文件要快得多。
从程序员的角度来看， Shell本身是一种用C语言编写的程序，从用户的角度来看，Shell是用户与Linux操作系统沟通的桥梁。用户既可以输入命令执行，又可以利用 Shell脚本编程，完成更加复杂的操作。在Linux GUI日益完善的今天，在系统管理等领域，Shell编程仍然起着不可忽视的作用。深入地了解和熟练地掌握Shell编程，是每一个Linux用户的必修 功课之一。
sed 是 Linux三板斧之一，是一种非常强大的文本编辑器。它可以对文本文件进行添加、删除、替换、注释等操作。sed 的基本语法是:
我很喜欢 Linux 系统，尤其是 Linux 的一些设计很漂亮，比如可以将一些复杂的问题分解成若干小问题，通过管道符和重定向机制灵活地用现成的工具解决，写成 shell 脚本就很高效。
本文通过分析一个 Redis 数据库，从多个方面介绍了如何高效地处理和分析 Redis 数据。作者通过实践案例，展示了如何使用 awk 命令、cut 命令以及 Python 脚本来简化处理过程，提高工作效率。通过这些方法，可以有效地提取和分析 Redis 中的数据，为后续工作提供有力的支持。
cut命令用来显示行中的指定部分，其从文件的每一行剪切字节、字符和字段并将这些字节、字符和字段写至标准输出，如果不指定File参数，cut命令将读取标准输入，该命令常用的两项功能，一是用来显示文件的内容，它依次读取由参数file所指明的文件，将它们的内容输出到标准输出上，其二是连接两个或多个文件，如cut f1 f2 > f3将把文件f1和几的内容合并起来，然后通过输出重定向符>的作用，将它们放入文件f3中，当文件较大时，文本在屏幕上迅速闪过，也就是滚屏现象，为了控制滚屏，可以执行Ctrl+S按键停止滚屏，按Ctrl+Q键可以恢复滚屏，按Ctrl+C键终止该命令的执行等操作。
在上一篇文章Linux系统入门系列之三：初识Bash中，我带大家初步认识了Bash这个Linux系统中的Shell，并学习了使用vim编辑、处理文本信息。事实上Bash拥有非常多的工具命令，并且很多工具命令已经集成化，可以完成多种多样的任务，就像Windows系统中的Office软件一样。接下来将带大家认识更多的工具命令以及数据的输入与输出，从而便以后各种生物信息数据的处理。
我们知道 Linux 三剑客，它们是 grep、sed、awk。在前边已经讲过 grep 和 sed，没看过的同学可以直接点击阅读，今天要分享的是更为强大的 awk。
本文由腾讯云+社区自动同步，原文地址 https://stackoverflow.club/article/tricks_on_shell/
在同一行依次输入三个值a,b,c，用空格分开，输出 bb-4a*c的值 输入格式:
cat 命令是 linux 下的一个文本输出命令，通常是用于观看某个文件的内容的； cat 主要有三大功能： 1.一次显示整个文件。 如 cat filename 2.从键盘创建一个文件。 如 cat > filename 只能创建新文件,不能编辑已有文件. 3.将几个文件合并为一个文件(点击查看实用例子)。 如 cat file1 file2 > file3 cat 具体命令格式为 : cat [-AbeEnstTuv] [--help] [--version] fileName 说明：
chattr 命令用于改变文件属性 这项指令可改变存放在ext2文件系统上的文件或目录属性，这些属性共有以下8种模式：
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
