文本处理时,经常要删除重复行,下面是三种方法 第一,用sort+uniq,注意,单纯uniq是不行的。...=line)print; line=$0}' 第三,用sort+sed命令,同样需要sort命令先排序。 sort -n $file | sed '$!N; /^\(.*\)\n\1$/!...=line)print; line=$0}' sort -n $file | sed '$!N; /^\(.*\)\n\1$/!.../diffRow.sh aaa aaaaa bbb bbbbb ccccc 123 推荐参考: 删除文本中的重复行sort+uniq/awk/sed SED单行脚本快速参考Unix 流编辑器
删除命令对照表 练习例子 删除/etc/passwd中的第15行 1 sed -i '1d' passwd 删除/etc/passwd中的8行到14行的所有内容 1 sed -i '...删除/etc/passwd中以mail开头的行,到以ftp开头行的所有内容 1 sed -i '/^mail/,/^ftp/d' passwd 删除/etc/passwd中第一个不能登录的用户...,不建议使用sed -i '/\/sbin\/nologin/,13d' passwd 删除/etc/passwd中第5行到以ftp开头的所有行的内容 1 sed -i '5,/^ftp/d...' passwd 删除/etc/passwd中以nobody开头的行到最后行的所有内容 1 sed -i '5,/^ftp/d' passwd 删除/etc/passwd中以nobody...开头的行到最后行的所有内容 1 sed -i '/^nobody/,$d' passwd 典型需求: 删除nginx.conf文件中注释行和空行 1 sed -i '/^#/d;/^$
第二个命令和上面第一个其实是一样的原理,全部读入文本后统一替换第3个匹配的内容。 替换最后一个匹配的88为--: sed ':a;/\n88/!....*\)88/\1--/' file [解析] 第一个命令,没匹配到 /\n88/ 的内容就读取下一行,然后 ba 跳转去开始处,如果读取到88的行呢,就执行后面的 P;D 组合,D也有循环功能,一直把匹配...\n88 内容的第一行打印,删除,直到不匹配/\n88/(因为换行符已经被打印出去了,所以不再会匹配到 \n88),这时候才继续往下读,如果又读到88的行,那么又执行P;D循环,同上操作。...一直到匹配到最后一个88的行,继续读取到末行时执行替换,N 因为没有下一行可读,所以会自动中止命令,因为没有 -n 参数会打印 pattern space 里的内容到屏幕,所以就不会再执行后面的 ba...» 本文链接:(转载)Linux之sed匹配第N个进行替换 » 转载请注明来源:刺客博客
sed很早就支持正则表达式了,这在文件处理中非常有用,以下列出一些常见用法(GNU SED版本)。 ? 1. 行首/行尾 行首用^表示,行尾用$表示。例如有如下test.txt文件: ?...匹配在列表中的任意字符 用[]代表这样的列表,比如: echo -e "Cat\nBat\nHat" | sed -n '/[CH]at/ p' 结果输出: Cat Hat []代表从其中选择一个...不在列表中的任意字符 echo -e "Cat\nBat\nHat" | sed -n '/[^CH]at/ p' 仅输出Bat。 5. 匹配出现某种次数(+; * ; ?...例子 匹配上海市电话号码: # eg. 021-52060888 echo 021-52060888 | sed -n '/^012-[0-9]\{8\}/p' 匹配ip地址: echo '127.255.255.254...' | sed -n '/[0-9]\+.[0-9]\+.[0-9]\+.[0-9]\+/p' 值得注意的是,在sed中不支持\d匹配数字,此处须用[0-9]。
defasf fsdsas dffa dffadsfs afdasffds [root@localhost wzcs]# sed...www.liezi.net www.liezi.net www.liezi.net www.liezi.net dffadsfs afdasffds [root@localhost wzcs]# sed
生信技能树学习笔记 sed 流编辑器,一般用来对文本进行增删改查 图片 图片 图片 常见功能: 增 删 改 查 图片 cat readme.txt | sed '1,2i Well' ## 在第一行和第二行的前面增加...well cat readme.txt | sed '1,3d' ## 删除第1-3行 cat readme.txt | sed -e '2i Well' -e '2a Well' ## 第二行的前后加...Well cat readme.txt | sed '2,4c ******' ## 会发现三行转变成一行 cat readme.txt | sed 's/is/IS' ## 默认替换第一个 cat readme.txt...| sed '/www/ s/ee/EE' ## 匹配到有www的那一行进行替换 cat readme.txt | sed ‘/ee/p’ ## 有ee那一行多打印一次 cat readme.txt...| sed -n '/ee/p' ## 单独打印有ee的行,-n只显示经过处理的行 cat Data/example.fq | sed -n '2~4p' | head ## 打印序列行 cat
在进行文本处理的时候,我们经常遇到要删除重复行的情况。那怎么解决呢? 下面就是三种常见方法? 第一,用sort+uniq,注意,单纯uniq是不行的。...shell> sort -k2n file | uniq 这里我做了个简单的测试,当file中的重复行不再一起的时候,uniq将服务删除所有的重复行。...经过排序后,所有相同的行都在相邻,因此unqi可以正常删除重复行。 第二,用sort+awk命令,注意,单纯awk同样不行,原因同上。...第三,用sort+sed命令,同样需要sort命令先排序。 shell> sort -k2n file | sed '$!N; /^\(.*\)\n\1$/!...参考推荐: 删除文本中的重复行(sort+uniq/awk/sed)
前言 对于删除文件中的重复行,比如处理如下文件 [root@mobius ~]$cat file_test.txt aaa bbbbb ccccc 123 aaaaa 123 bbb aaa 需要得到的删除为...: 123 aaa aaaaa bbb bbbbb ccccc 下面给出四种方法 1. sort -u方法 有关 sort 命令操作见Linux 工作常用命令笔记-sort排序 解决方案如下: [root...=line)print; line=$0}' 123 aaa aaaaa bbb bbbbb ccccc 注意:只用awk无法达到预期效果 4. sort + sed 方法 解决方案: [root@mobius...~]sort file_test.txt | sed '$!
sed可以在文本的某一行前或者后插入一行或者多行文本。这涉及到insert和append两个命令。...插入(insert,i)会在指定行前增加一个新行: $ echo "New line" | sed 'i\Old line' Old line New line 附加(append,a)会在指定行后增加一个新行...: $ echo "New line" | sed 'a Old line' New line Old line 在文件中的第三行前插入: $ cat file1.txt one two three...$ sed '3i New line' file1.txt one two New line three 在文件中的第三行后插入: $ sed '3a New line' file1.txt one...two three New line 插入到文件末尾: $ sed '$a New line' file1.txt one two three New line
Linux 命令 sed 命令解析 sed 是一种流编辑器,主要用来对文本进行替换、删除、新增、选取等操作。...sed 的一般形式如下: sed [options] 'command' filename options是可选参数 command是要执行的操作命令 filename是要处理的文件名。...I'm studying sed. 现在要用 sed 命令将其中的第一行 Hello world! 替换为 Hi there!...源码演示: sed '1s/Hello/Hi there/' test.txt Linux 命令 sed 命令注意事项 sed 命令一般不会对原始文件进行修改,而是将修改后的结果输出到标准输出流中,如果需要修改原始文件...sed 命令支持多种操作符,如查找、替换、删除、插入等操作。 sed 命令可以通过正则表达式进行模式匹配,以实现更灵活的操作。
D: 删除多行组中的一行 P: 打印多行组中的一行 next命令 单行next命令 [root@localhost ~]# cat e this is the header line....如果要匹配的在数据流中的最后一行,N命令会错过他。因为没有其他行可读入道模式空间跟这行合并。...删除数据流中出现在第一行前的空白行 [root@localhost ~]# cat data5 This is the header line. This is a data line....当多行匹配出现时,P命令只会打印模式空间中的第一行。...第一个替换命令会查找模式文本first.如果他匹配了行中的模式,他会替换文本,而且测试命令会跳过后面的替换命令。如果第一个替换命令未能匹配模式,第二个命令就会被执行。
Linux命令之sed 在开始写文章之前,再次重复那句话:sed,grep和awk被称之为Linux三剑客。...这句话我一直在强调,足以说明这三个命令在linux中的重要性,废话不多说,今天我们来看看sed的一些操作。...02 匹配行前后一行插入数据a参数和i参数 a代表after i代表in front 他们的使用方法也比较简单,我们举例子可以看到: [dba_mysql /tmp]$cat aaa.txt this...first字样,使用i参数在匹配行的后面添加second字样。...03 d命令和D命令 d命令是删除当前模式空间内容(不再传至标准输出),并放弃之后的命令,并对新读取的内容,重头执行sed。
sed 的动作为 '2,5d' ,那个 d 就是删除!因为 2-5 行给他删除了,所以显示的数据就没有 2-5 行罗~ 另外,注意一下,原本应该是要下达 sed -e 才对,没有 -e 也行啦!...只要删除第 2 行 nl /etc/passwd | sed '2d' 要删除第 3 到最后一行 nl /etc/passwd | sed '3,$d' 在第二行后(亦即是加在第三行)加上『drink...还会输出匹配行。...nl /etc/passwd | sed -n '/root/p' 1 root:x:0:0:root:/root:/bin/bash 数据的搜寻并删除 删除/etc/passwd所有包含root的行...:/bin/sh ....下面忽略 #第一行的匹配root已经删除了 数据的搜寻并执行命令 找到匹配模式eastern的行后, 搜索/etc/passwd,找到root对应的行,执行后面花括号中的一组命令
s/pattern/replacement/flags 有四种替换标记 1、数字 表明新文本将替换地挤出模式匹配的地方 2、g 表明新文本将会替换所有已有文本出现的地方 3、p 表明原来行的内容要打印出来...cat The quick wz fox jumps over the lazy cat ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ 删除行...d 1 Test line 2 [root@pppoe ~]# echo "Test line 2" | sed 'a\Test d 1' Test line 2 Test d 1 在第三行前面插入一行数据...[root@pppoe ~]# sed '3i\wz' data3 one line of test. two lin of test. wz thress line is test 在第三行后面插入一行数据...pppoe ~]# sed '$a\wz' data3 one line of test. two lin of test. thress line is test wz 插入多行时必须对新文本的每一行使用反斜线
参数详解 [root@linux ~]# sed [-nefr] [动作] 参数: -n :使用安静(silent)模式。...d :删除,因为是删除啊,所以 d 后面通常不接任何咚咚; i :插入, i 的后面可以接字符串,而这些字符串会在新的一行出现(目前的上一行); p :打印,亦即将某个选择的数据印出。...参数d,以行为单位,删除功能 删除2~5行,中,2,5,行包括在内 [root@localhost ~]# nl /etc/passwd | sed '2,5d' 上面的指令完整的写法是要加参数e的,但是由于只需要执行一条指令...@localhost ~]# nl /etc/passwd | sed -e '2,5d' -e '8,10d' 删除第2行 [root@localhost ~]# nl /etc/passwd | sed...'2d' 删除3到最后一行 [root@localhost ~]# nl /etc/passwd | sed '3,$d' 注意:sed后面接动作,务必用单引号括住 参数a i 新增内容 在第二行后新增内容
sed 每处理完一行就将其从临时缓冲区删除,然后将下一行读入,进行处理和显示。处理完输入文件的最后一行后,sed 便结束运行。...例如: sed '2,5d' datafile #删除第二到第五行 sed '/My/,/You/d' datafile #删除包含"My"的行到包含"You"的行之间的行 sed '/...sed -n '/my/p' datafile #选项-n取消sed默认的打印,p命令把匹配模式my的行打印一遍。 6.2 d 命令 命令 d 用于删除输入行。...sed '$d' datafile #删除最后一行,其余的都被显示 sed '/my/d' datafile #删除包含my的行,其余的都被显示 6.3 s 命令 sed 's/My...6.11 y 命令 该命令与 UNIX/Linux 中的 tr 命令类似,字符按照一对一的方式从左到右进行转换。
原博文 2017-03-20 19:18 − 代码适用情况:xml文件,循环出现某几行,根据这几行中的某个字段删掉这几行这段代码的作用删除jenkins中config.xml中在自动生成pipline报错的时的回滚...首先当用户键入代码交给Python处理的时候会先进行词法分析,例如用户键入关键字或者当输入关键字有误时… 0 110 2019-09-28 16:12 − 多行语句 Python语句中一般以新行作为语句的结束符...但是我们可以使用斜杠( \)将一行的语句分为多行显示,如下所示: total = item_one + \ item_two + \ item_three 语句中包含 [], {} 或 () 括号就不需要使用多行连接符...在Linux/Unix系统中,在脚本顶部添加以下命令让Python脚本可以像SHELL脚本一样可直接执行(#!是shebang符号): #!/usr/bin/python3 03.
-i:则是上一行 -c:替换n1-n2行为c后面的字符串。 -d:删除n1-n2行字符串。...-p:打印和sed -n结合使用 ---- sed输出指定行、排除指定行输出、非连续行输出、行替换显示 ---- 输出指定行sed -n 'n1,n2 p',例如2-3行,sed -n '2,3p'...filename 删除指定行 sed '2,3d' filename 指定行后面添加,字符串,例如 第二行后面添加’after line 2’ sed '2a after line 2' 指定行替换...---- 行数据替换,通配符,指定行范围 ---- 行部分数据的查找并替换, sed 's/要被代替的字符串/新的字符串/g' th替换为st, sed 's/th/st/g' 每一行最后添加’Z’...$/Z/g' 最后一个字符为0-9则替换为’Z’, sed 's/[0-9]$/Z/g' 行首添加’B’, sed ‘s/^/B/g’ 行首添字符0-9替换为’B’, sed ‘s/^[0-9]/B/g
Hi, 我是小萝卜算子 既然重温了linux工具——grep文本处理器, 怎能少了sed.........一、介绍 sed是Linux中最常用的"文本处理工具"之一,常规情况下,每次匹配一行内容到模式空间,经过处理变化之后,输出结果 针对个别特殊情况,比如想连续操作多行数据,可使用hold空间以及t,b分支控制输出...5d 代表删除第五行 start,end: 指定开始和结束行号 $: 末尾行 start~step: 指定开始行和步长 start,+num: 表示向后匹配num行 /regex/:正则匹配行 /...r,w 读写(我用的比较少) --content operate(内容操作) s:替换 替换掉匹配的内容,与linux工具——vim文本编辑器整理中命令行模式的替换类似,基本用法:s/src/dest...删除不包含you的行 sed '/you/!
多行时除最后一行外,每行末尾需用"\"续行 d 删除行 h 把模式空间里的内容复制到暂存缓冲区 H 把模式空间里的内容追加到暂存缓冲区 g 把暂存缓冲区里的内容复制到模式空间,覆盖原有的内容...删除第3到第9行,只是不显示而已 sed '3,9d' /var/log/yum.log ?...删除包含"hhh"的行到包含"omc"的行之间的行 sed '/hhh/,/omc/d' yum.log ?...删除包含"omc"的行到第十行的内容 sed '/omc/,10d' yum.log ?...-e是编辑命令,用于多个编辑任务 删除1到5行后,替换reboot为shutdown sed -e '1,5d' -e '=' -e 's/reboot/shutdown/g' yum.log
领取专属 10元无门槛券
手把手带您无忧上云