由于被疫情打乱更博节奏，已经好久没有更新博客了，今天来一发笔记，记录一下 linux 三剑客的常用操作。所谓的三剑客，其实就是 grep awk sed 三个命令，在 linux 操作中，特别是关于文本的查找和修改，这三条命令可谓是各显神通。
grep命令是Linux系统中最重要的命令之一，功能是从文本文件或管道数据流中筛选匹配的行和数据，如果再配合正则表达式，功能十分强大，是Linux运维人员必备的命令
sed是一个非常好的文件处理工具, 它本身是一个管道命令, 以行为单位进行处理, 能够用于对数据行进行新增、选取、替换、删除等操作。
概述：sed是流式编辑器，非交互式的基于模式匹配过滤及修改文本，可实现对文本的输出删除复制替换剪切等各种操作
日志样子举例如下： http://youku.com 200 http://youku.com 302 http://youku.com 403 http://youku.com 502 http://baidu.com 302 http://baidu.com 404 现想使用awk命令按域名统计 返回码大于等于400的百分比，假如优酷总共有4行，大于等于400的返回码有两行，那占比就为50%
sed： sed ‘/root/’p test.txt 全部匹配出来 写法：sed ‘/ /’ p 匹配文件名字 sed -n '/root/'p test.txt 只匹配你要的部分数据 写法：sed
管道命令sed是一个很好的文本处理工具，主要以行为单位进行处理，可以将数据进行替换、删除、新增、选取等。sed可以处理标准输入内容或者文件，可以输出标准输出或输出到文件。sed的一般使用规则如下：
在sed 启用扩展正则表达式之后，通常更多的配合分组功能进行使用，这时候需要注意的内容如下： A. 启用sed 的扩展正则表达式的方法是使用 -r 参数 B. 启用扩展正则表达式之后，小括号是可以自动识别为“分组的分割符号”，也就是说小括号不是普通的字符； C. \s 表示空格或者tab 键, 而 * 表示任意个数的字符，？ 表示0 或者一个字符，+ 表示一个或者多个字符，而 . 表示任意字符 D. 启用分组以后，在对分组进行引用的时候，用 \1, \2 之类的表示方式，其中 \1就是小括号引用起来的第一个分组，依次类推，可以使用很多个分组 E. 在使用分组的时候，最常见的一种情形是：确认每个分组匹配的长度，这个遵循的一个重要原则是： .* 组合的长度取决于前面的组合以及后面的组合, .* 本身无法确定所匹配的字符串； 那么，如果要把 .* 作为分组的最后一部分怎么办呢，那这时候，其右边的边界就是 结束符号 $. F. 在sed 启用扩展正则表达式后，中括号 和大括号并不是作为普通字符看待，所以如果要把中括号, 大括号识别为普通字符，那么需要加上反斜杠；
sed 是一种在线编辑器，它一次处理一行内容。处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”（pattern space），接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。接着处理下一行，这样不断重复，直到文件末尾。文件内容并没有 改变，除非你使用重定向存储输出。Sed主要用来自动编辑一个或多个文件；简化对文件的反复操作；编写转换程序等。
grep、sed、awk被称为文本处理三剑客。对于纯文本来说，没有这三个工具干不了的事情，并且效率也不低。今天给大家介绍一下其中的sed。
实际容忍度很高，pattern写在左后，或者options写在pattern后面都可以
这是linux文本操作常用的几个命令，现在进行总结下 命令 常用用法 参数意义/示例 常用作用 cut cut -d '分隔符号'-f fileds cut -d ":" -f 3,5 切，纵向切，切列，相当于剪切,取的是某1列或某几列 cut -c 字符范围 cut -c 12- 切割排列整齐的信息 paste paste [-d] file1 file2 -d后面是分隔符，默认[tab]分隔 追加列，纵向添加，和cut反向对应 cat file1|paster file2 - -如果是管道命令，fi
grep命令的-P选项： 最典型的用法是，匹配指定字符串之间的字符。 比如，我们想在一句话（Hello，my name is aming.)中匹配中间的一段字符串（my name is) 可以这样写正
还有一个要注意的是 awk -F ","' { print $2}' test. txt,用-F 可以指定切割的分割符号
简介 本文主要介绍 Linux 系统的两个神级工具：sed 和 awk ，他们是Linux高手们必备的技能，很值得我们去研究的东西。 这里是我在网上书上收集的相关资料，因为这两个工具很有名也很重要，所以这些资料会帮助我更好的了解和熟悉它们。 什么是sed 在《sed and awk》一书中（1.2 A Stream Editor）的解释是： Sed本质上是一个编辑器，但是它是非交互式的，这点与VIM不同；同时它又是面向字符流的，输入的字符流经过Sed的处理后输出。这两个特性使得Sed成为命令行下面非常有用的
说到sed命令，就不得不sed，awk，grep三个命令，很多时候这三个命令是一同出现的；
sed -i "s/zhangsan/lisi/g" `grep zhangsan -rl /modules` 解释一下： -i 表示inplace edit，就地修改文件 -r 表示搜索子目录 -l 表示输出匹配的文件名 这个命令组合很强大，要注意备份文件。
应需求，在海思板子上测试SATA读写速度，用dd指令，每次分别读/写不同大小的块 (bs)，同时检测运行dd命令CPU占比，记录读/写速度和CPU占比。
今天主要跟大家介绍2个非常霸道的工具，sed和awk，本篇文章将介绍这两个工具在日常运维中的常用用法，工作中这两个工具要掌握好了在结合一些管道命令、正则表达式，日常处理事务简直666啦！ l Sed 1．强大的地方 擅长对数据行进行处理，sed是一种流编辑器，处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”（pattern space），接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。接着处理下一行，这样不断重复，直到文件末尾。文件内容并没有改变，除非你使用重定向存储输出
Linux sed 命令是利用脚本来处理文本文件。sed 可依照脚本的指令来处理、编辑文本文件。Sed 主要用来自动编辑一个或多个文件、简化对文件的反复操作、编写转换程序等。
Linux下批量替换多个文件中的字符串的简单方法。用sed命令可以批量替换多个文件中的字符串。
语法 sed [-hnV][-e<script>][-f<script文件>][文本文件]
vim有三种操作模式，分别是命令模式（Command mode）、输入模式（Insert mode）和底线命令模式（Last line mode）。
Linux常用命令：sed 选项与参数： -n ：使用安静(silent)模式。在一般 sed 的用法中，所有来自 STDIN 的数据一般都会被列出到终端上。但如果加上 -n 参数后，则只有经过sed 特殊处理的那一行(或者动作)才会被列出来。 -e ：直接在命令列模式上进行 sed 的动
在 Linux 系统中提取某一行可以使用命令行工具 sed、awk、grep、head 或 tail。
本文介绍了Vim常用快捷键，包括移动光标、删除、复制粘贴、撤销和查找等操作。
vim编辑器 vim trree 编辑器的分类 文本编辑器，ASCII码 字处理器：word 全称 vi：Visual interface vim: Visual interface improved
命令行: ctrl+左右键: 在单词之间跳转 ctrl+a: 跳到本行的行首 ctrl+e: 跳到页尾 Ctrl+u： 删除当前光标前面的文字 （还有剪切功能） ctrl+k： 删除当前光标后面的文字(还有剪切功能) cd .. 向上移动一级目录 cd - 返回上次访问的目录 windows文本的常用操作命令 ctrl + g 定位到指定的行数 ctrl + End 到行的末尾 ctrl + home 到行的末尾 ctrl + f 查找某行 ctrl + h
grep awk sed是Linux下文本处理常用的命令，能完成很多神奇的操作，今天就分享一下这三个命令最常见的用法
sed(Stream EDitor)是一种流文件编辑器，它一次处理一行内容。处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”（pattern space），接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。接着处理下一行，直到文件末尾。文件内容并没有改变，除非使用-i选项。sed主要用来编辑一个或多个文件，简化对文件的反复操作或者用来编写转换程序等。
前言 这两天自己挽起袖子处理日志，终于把AWK给入门了。其实AWK的基本使用，学起来也就半天的时间，之前总是靠同事代劳，惰性呀。 此文仅为菜鸟入门，运维们请勿围观。 下面是被处理的日志的示例，不那么标准，但不标准的日志正是标准的情况。 [2015-08-20 10:00:55.600] - [192.168.0.73/192.168.0.75:1080 com.vip.xxx.MyService_2.0 0 106046 100346 90ms 110ms] 基本语句 最基本的语句，以空格做分割，提取所
一、 正则表达式： 正则表达式（或称 Regular Expression，简称 RE）就是由普通字符（例如字符a 到z）以及特殊字符（称为元字符）组成的文字模式。 该模式描述在查找文字主体时待匹配的一个或多个字符串。 正则表达式作为一个模板，将某个字符模式与所搜索的字符串进行匹配。简单的说，正则表示式就是处理字符串的方法，它是以行为单位来进行字符串的处理行为，正则表示式通过一些特殊符号的辅助，可以让使用者轻易的达到搜寻/删除/取代某特定字符串的处理程序。vim、grep、find、awk、sed
正则表达式（或称Regular Expression，简称RE）就是由普通字符（例如字符 a 到 z）以及特殊字符（称为元字符）组成的文字模式。
Linux 系统中文本处理有多种不同的方式，系统为我们提供了三个实用命令，来实现对行列的依次处理功能，grep命令文本过滤工具，cut列提取工具，sed文本编辑工具，以及awk文本报告生成工具，利用这三个工具可以灵活的过滤截取任何系统文本内容。
sed工具 sed '1'd test.txt sed '1,3'd test.txt sed '/oot/'d test.txt sed '1,2s/ot/to/g' test.txt sed 's#ot#to#g' test.txt sed 's/[0-9]//g' test.txt sed 's/[a-zA-Z]//g' test.txt sed -r 's/(rot)(.*)(bash)/\3\2\1/' test.txt sed 's/^.*$/123&/' test.txt sed -i 's/
sed(Stream EDitor)是一种流文件编辑器，它一次处理一行内容。处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”（Pattern Space），接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕，接着处理下一行，直到文件末尾。文件内容并没有改变，除非使用-i选项。sed主要用来编辑一个或多个文件，简化对文件的反复操作或者用来编写转换程序等。
grep （缩写来自Globally search a Regular Expression and Print）是一种强大的文本搜索工具，它能使用特定模式匹配（包括正则表达式）搜索文本，并默认输出匹配行,grep和sed的区别在于，grep是以行为单位，进行字符串的对比，sed则可以进行删除、替换等更多的功能
Linux命令中有一些常用符号，看到时不一定好查询它们的功能和含义，这里列举一些常见的符号和解释，欢迎大家补充完善。
date - print or set the system date and time
Grep是用于快速搜索匹配模式的简单工具，但是awk更像是一种编程语言，用于处理文件并根据输入值生成输出。
Linux下文件内容操作 常用的文件内容操作有文件压缩解压缩、文件大小行数统计、文件内容查询等。 gzip: 压缩文件; gunzip: 解压缩文件 # gzip -c 把压缩的文件输出到标准输出 (一般是屏幕) # '>' 输出重定向，输出写入文件 ct@ehbio:~/ehbio_project$ gzip -c ehbio.fa >ehbio.fa.gz # 多了一个.gz文件 ct@ehbio:~/ehbio_project$ ls ehbio3.fa ehbio4.fa ehbio5.fa
在做数据开发中，经常需要通过shell脚本/命令来针对文本进行预处理，sed是一个很强大的流式处理命令，笔者几乎每天都会用到，在这统一梳理总结了下！ 其实 sed 很简单，比vim简单很多了！ 1. 基础 核心概念 两个空间： 模式空间(pattern space)； 交换空间（hold space 保持空间） 模式空间：容纳当前行的缓冲区，即通过模式匹配到的行被读入该空间中 保持空间：一个辅助缓冲区，可以和模式空间进行交互（通过h,H,g,G），但命令不能直接作用于该空间，在进行数据处理时作为“暂存区域”
Linux 中，常使用流编辑器 sed 进行文本替换工作。与常使用的交互式编辑器（如vim）不同，sed 编辑器以批处理的方式来编辑文件，这比交互式编辑器快得多，可以快速完成对数据的编辑修改。
-e 或–expression=：表示用指定命令或者脚本来处理输入的文本文件。 -f 或–file=：表示用指定的脚本文件来处理输入的文本文件。 -h 或–help：显示帮助。 -n、–quiet 或 silent：表示仅显示处理后的结果。 -i：直接编辑文本文件
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/q383965374/article/details/50394765
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
