我以前的文章介绍过grep了，今天我就来说一下第二个sed，它是stream editor的缩写。在Linux的文本文件中文本存储都是一行，显示时表现的多行其实都是因为有换行符的存在，例如：文本是：abc$def$ghi 显示出来就是三行了。Sed就是一个行编辑器，它一次读一行文本进行操作，然后根据我们的选择看是否同步到文本之中。还有一个叫awk的，在Linux上叫做gawk（gnu awk），它是一个文本格式化工具，我们下一篇文章再说。 工作机制：每次读取一行文本至“模式空间(pattern space)
原文链接:https://rumenz.com/rumenbiji/linux-rm-blank-line.html
一、文本处理工具 1、文本查看工具less和cat cat -E filename 能看到行的结束符 -A filename 能看到tab键 回车 （hexdump -C win.txt） -n filename 加行号 -s filename 压缩空行（连续相邻的空行）' -b 加行号，但空行不加cat > f3 给文件写入内容（nl==cat -b ） 2、more（分页查看文件） 3、less（支持搜索man的用法来自less） 4、head（查看文件首部，默认10行） head -n 4 -c
Linux是一套免费使用和自由传播的类Unix操作系统，是一个基于POSIX和UNIX的多用户、多任务、支持多线程和多CPU的操作系统。它能运行主要的UNIX工具软件、应用程序和网络协议。它支持32位和64位硬件。Linux继承了Unix以网络为核心的设计思想，是一个性能稳定的多用户网络操作系统。
写在开篇 不知道你们有没有过这样的经历：我们去某些网站注册帐号，当你在设置密码的时候，网站会提示你密码的长度范围，以及对应的规则限制,现在假设我们不知道正则表达式，作为程序员，该如何去实现这样一个密码
老规矩，总结一下linux 的文本处理。包括但不限于awk, sed, paste,split,grep....
grep命令是一种强大的文本搜索工具，它能使用正则表达式搜索文本，并把匹配的行打印出来（匹配到的标红）。
现在学的是Linux中的正则表达式，最常应用正则表达式的命令是linux三剑客：grep（egrep），sed，awk。
推荐阅读：Jeffrey Friedl 《精通正则表达式（第3版）》，本文是该书的读书笔记。
首先正则表达式分为三类（man grep可以看到，分别是basic RegExs，extended RegExs，perl RegExs）
使用grep > grep -v '^$' rumenz.txt ^表示开头,$表示结尾 使用sed > sed '/^$/d' rumenz.txt ^$用于匹配空白行,d用于删除匹配项 使用awk > awk '!/^$/' rumenz.txt ^$用于匹配空白行,!用来取反。 使用tr > cat rumenz.txt | tr -s '\n' -s 用于将其输出中相邻字符序列压缩为单个字符 使用vi/vim > vim rumenz.txt :g/^$/d g指定全局搜索,^$用于匹配空白字符行,
假如我们根据相关的id定位到了这样一段日志，现在我们要找出所有报这个错的日志，并且把 refundReq=后面那串json给截取下来，有了这串json，我们就可以重新去请求 refundOrderV3方法。
tr命令可以对来自标准输入的字符进行替换、压缩和删除。它可以将一组字符变成另一组字符，经常用来编写优美的单行命令，作用很强大。
三剑客 linux下的文本三剑客 grep egrep,grep,fgrep 文本查找的需要 grep：根据模式搜索文本，并将符合模式的文本行显示出来。 pattern：文本符和正则表达式的元字符组合而成的匹配条件 grep [option] "pattern" file grep root /etc/passwd -i：忽略大小写 --color：匹配的字符高亮显示 alias alias grep='grep --color' -v:反向查找 -o：只显示被模式匹配的字符串（不显示行
Linux中的三个命令awk、sed、grep在业界被称为“三剑客”，grep擅长查找，sed擅长取行和替换，awk擅长运算。
编写shell脚本时，您可能需要将多行文本或代码块传递给交互式命令，例如tee，cat或sftp。在Bash和其他类似Zsh的shell中，Here document（Heredoc）是一种重定向，允许您将多行输入传递给命令。
本文将介绍Linux下使用Shell处理文本时最常用的工具：find、grep、xargs、sort、uniq、tr、cut、paste、wc、sed、awk；
本文将介绍Linux下使用Shell处理文本时最常用的工具：find、grep、xargs、sort、uniq、tr、cut、paste、wc、sed、awk；提供的例子和参数都是最常用和最为实用的；对shell脚本使用的原则是命令单行书写，尽量不要超过2行；如果有更为复杂的任务需求，还是考虑python吧.
Linux Shell是一种基本功，由于怪异的语法加之较差的可读性，通常被Python等脚本代替。既然是基本功，那就需要掌握，毕竟学习Shell脚本的过程中，还是能了解到很多Linux系统的内容。
-多年互联网运维工作经验，曾负责过大规模集群架构自动化运维管理工作。 -擅长Web集群架构与自动化运维，曾负责国内某大型金融公司运维工作。 -devops项目经理兼DBA。 -开发过一套自动化运维平台（功能如下）： 1)整合了各个公有云API，自主创建云主机。 2)ELK自动化收集日志功能。 3)Saltstack自动化运维统一配置管理工具。 4)Git、Jenkins自动化代码上线及自动化测试平台。 5)堡垒机，连接Linux、Windows平台及日志审计。 6)SQL执行及审批流程。 7)慢查询日志分析web界面。
find、grep、xargs、sort、uniq、tr、cut、paste、wc、sed、awk；
注意Windows系统文件格式与Linux系统不一样，将Windows的文件上传后需要转换格式，才能使用Linux命令操作
为了更直观地感受 echo 命令的一些处理细节差异，我们可以使用 hexdump 命令以十六进制形式查看其输出，测试截图如下：
本文将介绍Linux下使用Shell处理文本时最常用的工具：find、grep、xargs、sort、uniq、tr、cut、paste、wc、sed、awk； 提供的例子和参数都是最常用和最为实用的； 我对shell脚本使用的原则是命令单行书写，尽量不要超过2行； 如果有更为复杂的任务需求，还是考虑python吧； find 文件查找 查找txt和pdf文件 find . \( -name "*.txt" -o -name "*.pdf" \) -print 正则方式查找.txt和pdf find . -
本节将介绍Linux下使用Shell处理文本时最常用的工具： find、grep、xargs、sort、uniq、tr、cut、paste、wc、sed、awk； 提供的例子和参数都是常用的； 我对shell脚本使用的原则是命令单行书写，尽量不要超过2行； 如果有更为复杂的任务需求，还是考虑python吧；
有许多工具专门设计用于通过命令行操作JSON，使用这些工具比使用Awk要容易得多，也更可靠。比如jq：
1、ls 文件属性： -：普通文件 d：目录文件 b：块设备 c：字符设备文件 l：符号连接文件 p:命令管道 s：套接字文件 文件权限： 9位数字，每3位一组 文件硬链接次数 文件所属主（owner） 文件的属组（group） 文件大小（size），单位默认是字节 ls常用选项： -l：显示文件属性，ls -l=ll -h：做相应的单位转换显示 -a：显示所有文件 -A：显示.和..以为的所有文件 -d：显示目录自身属性 -i：显示文件的缩影接点号码（index node ，inode） -r：逆序显示文件列表 -R：递归显示文件 2、cd cd：change directory cd：回到用户的家目录 cd ~username：进入指定用户的家目录 cd - ：在当前目录和前一次所在的目录来回切换 cd ..:切换至其父目录 3、printenv：显示当前环境变量信息
继续总结一下linux 的文本处理。包括但不限于awk, sed, paste,split,grep....
是对字符串操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种过滤逻辑。
正则表达式: 匹配一组字符: #[ns]a.\.xls //[]用于限定字符；“.”用于匹配任意字符; \.用于转义"." 匹配到s/na*.xls [nN] 匹配大小写；[0-9] 匹配0-9数字；[a-zA-Z0-9] 匹配任意字符数字 注意:"-"(连字符)是一个特殊的元字符,作为元字符只能用在[]中间 用^元字符进行取非操作，但是必须用在[]之间 #[ns]a[^0-9]\.xls 匹配n/sa*.xls *表示任意字符 使用元字符: 元字符自己使用必
在正则表达式中，还有很多的内容值得学习。 之前的两篇中列举了很少的一部分。没有做更多的分析。 -->字符组 下面的例子可以根据字符组来灵活匹配。比如输入了Good cat或者Good hat就可以通过字符组来进行匹配。[ch] $ echo "Good cat"|sed -n '/[ch]at/p' Good cat $ echo "Nice hat"|sed -n '/[ch]at/p' Nice hat $echo "Yes" |sed -n '/[Yy][Ee][Ss]/p' Yes 当然了匹
正则表达式在处理数据时非常有用，它凭借强大的模式匹配功能，能够用来精确地过滤文本数据，提取有用的数据信息。
20.1 什么是正则表达式 20.1.1 定义 正则表达式是你所定义的模式模板。linux工具可以用它来过滤文本。 正则表达式利用通配符来描述数据流中第一个或多个字符。 正则表达式模式含有文本或特殊字符，为sed编辑器和gawk程序定义了一个匹配数据时采用的模板。 20.1.2 正则表达式的类型 使用正则表达式最大的问题在于有不止一种类型的正则表达式。 正则表达式是通过正则表达式引擎实现的，正则表达式引擎是一套底层软件，负责解释正则表达式模式并使用这些模式进行文本匹配。 在linux中有两种流行的正则表达式
grep：文本过滤，横向截取，(模式：pattern)工具 grep, egrep, fgrep（不支持正则表达式搜索） sed：stream editor，文本编辑工具，文本的替换与编辑，不是进入交互式界面，而是直接在命令行编辑，它是非交互式性的，
word 被扩展以产生一个模式，并根据下面描述的规则进行匹配。如果模式与 parameter 扩展后的值的开始部分匹配，则扩展的结果是从 parameter 扩展后的值中删除最短匹配模式(一个 # 的情况)或最长匹配模式(## 的情况)的值
fgrep表示不支持正则表达式。fast grep，如果支持正则表达式的话，必然要进行正则表达式解析，那就必然要耗费时间
文本处理工具之二 sed命令详解 sed：Stream Editor文本流编辑，sed是一个“非交互式的”面向字符流的编辑器。能同时处理多个文件多行的内容，可以不对原文件改动，把整个文件输入到屏幕,可以把只匹配到模式的内容输入到屏幕上。还可以对原文件改动，但是不会再屏幕上返回结果。 sed命令的语法格式： sed的命令格式： sed [option] ‘sed command’filename sed命令的选项(option)： -n ：只打印模式匹配的行 -e ：直接在命令行模式上进行sed动作编辑，此为
grep（Globel Search Regular Expression and Printing out the line）全面搜索正则表达式并把行打印出来，是一种强大的文本搜索工具，是一个对行进行操作的搜索工作，它能使用正则表达式搜索文本，并把匹配的行打印出来。Unix 的 grep 家族包括 grep 、egrep 、 fgrep 。egrep 表示扩展的 grep ，相比 grep 支持更多的元字符。grep -E 相当于 egrep 。fgrep 是 fast grep ，不支持元字符，但是搜索速度更快。grep 过滤的结果被送到屏幕，不影响原文件内容。
除了使用 sed 命令，Linux 系统中还有一个功能更加强大的文本数据处理工具，就是 awk。
文件管理不外乎文件或目录的创建、删除、查询、移动，有mkdir/rm/mv 文件查询是重点，用find来进行查询；find的参数丰富，也非常强大； 有时候，需要给文件创建一个别名，我们需要用到ln，使用这个别名和使用原文件是相同的效果； 2.1. 创建和删除 创建：mkdir 删除：rm 删除非空目录：rm -rf file目录 删除日志 rm *log (等价: $find ./ -name “*log” -exec rm {} ;) 移动：mv 复制：cp (复制目录：cp -r ) 查看当前目录下文件个数: $find ./ | wc -l 复制目录: $cp -r source_dir dest_dir 2.2. 目录切换 找到文件/目录位置：cd 切换到上一个工作目录： cd - 切换到home目录： cd or cd ~ 显示当前路径: pwd 更改当前工作路径为path: $cd path 2.3. 列出目录项 显示当前目录下的文件 ls 按时间排序，以列表的方式显示目录项 ls -lrt 以上这个命令用到的频率如此之高，以至于我们需要为它建立一个快捷命令方式: 在.bashrc 中设置命令别名: alias lsl='ls -lrt' alias lm='ls -al|more' 这样，使用lsl，就可以显示目录中的文件按照修改时间排序；以列表方式显示； 给每项文件前面增加一个id编号(看上去更加整洁): >ls | cat -n 1 a 2 a.out 3 app 4 b 5 bin 6 config 注：.bashrc 在/home/你的用户名/ 文件夹下，以隐藏文件的方式存储；可使用 ls -a 查看； 2.4. 查找目录及文件 find/locate 搜寻文件或目录: $find ./ -name "core*" | xargs file 查找目标文件夹中是否有obj文件: $find ./ -name '*.o' 递归当前目录及子目录删除所有.o文件: $find ./ -name "*.o" -exec rm {} \; find是实时查找，如果需要更快的查询，可试试locate；locate会为文件系统建立索引数据库，如果有文件更新，需要定期执行更新命令来更新索引库: $locate string 寻找包含有string的路径: $updatedb 与find不同，locate并不是实时查找。你需要更新数据库，以获得最新的文件索引信息。 2.5. 查看文件内容 查看文件：cat vi head tail more 显示时同时显示行号: $cat -n 按页显示列表内容: $ls -al | more 只看前10行: $head - 10 ** 显示文件第一行: $head -1 filename 显示文件倒数第五行: $tail -5 filename 查看两个文件间的差别: $diff file1 file2 动态显示文本最新信息: $tail -f crawler.log 2.6. 查找文件内容 使用egrep查询文件内容: egrep '03.1\/CO\/AE' TSF_STAT_111130.log.012 egrep 'A_LMCA777:C' TSF_STAT_111130.log.035 > co.out2 2.7. 文件与目录权限修改 改变文件的拥有者 chown 改变文件读、写、执行等属性 chmod 递归子目录修改： chown -R tuxapp source/ 增加脚本可执行权限： chmod a+x myscript 2.8. 给文件增加别名 创建符号链接/硬链接: ln cc ccAgain :硬连接；删除一个，将仍能找到； ln -s cc ccTo :符号链接(软链接)；删除源，另一个无法使用；（后面一个ccTo 为新建的文件） 2.9. 管道和重定向 批处理命令连接执行，使用 | 串联: 使用分号 ; 前面成功，则执行后面一条，否则，不执行:&& 前面失败，则后一条执行: || ls /proc && echo suss! || echo failed. 能够提示命名是否执行成功or失败； 与上述相同效果的是: if ls /proc; then echo suss; else echo fail; fi 重定向: ls proc/*.c > list 2> &l 将标准输出和标准错误重定向
一个正则表达式通常被称为一个模式(pattern)，为用来描述或者匹配一系列符合某个句法规则的字符串。
今天在写一个脚本的时候，遇到了很多字符过滤的问题，感觉还是有些技术含量的，这里记录下来，以便后续参阅。
Linux 常用指令 文章目录 简介 常用指令 虚拟机网络相关指令 虚拟机最简化安装开启网络服务 虚拟机指定ip 文件操作相关指令 文件提升权限 服务器之间传递文件 scp指令 rz/sz 指令 移动文件 删除文件 sed 相关指令 查看当前目录文件大小 rpm相关指令 查看是否安装服务 安装 卸载 ip相关指令 查看ip(三种方法) 防火墙 查看进程 查看资源 设置nfs 从机(slave) 主机(master) 打印不同颜色的字 文件从 dos 模式转成 unix 模式 批量将 wind
23. 产生一个随机数 代码如下: echo $RANDOM 24. 按照模式split 文件 代码如下: csplit server.log /PATTERN/ -n 2 -s {*} -f server_result -b "%02d.log" -z /PATTERN/ 用来匹配某一行，分割过程由此开始 {*} 根据匹配，重复执行分割 -s 静默模式 -n 分割后文件名后缀中，数字的个数 -f 分割后的文件名前缀 -b 指定后缀格式 25. 获取文件名或者扩展名 代码如下: var=ha
1.在给定文件中查找与条件相符字符串的命令及查找某个目录下相应文件的命令为：（多选）(AC)
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
实时音视频
