AI摘要：本文介绍了Linux日志审计中三个重要命令：`sed`、`sort`、和`uniq`的用法及其常用参数。`sed`用于文本处理，如替换、删除、插入操作；`sort`用于文本排序，支持数字顺序、反向排序等；`uniq`用于去重和统计重复次数。文章通过实例展示了如何结合这些命令来分析和统计日志数据，如统计网站访问日志中每个IP的访问次数并排序。这些命令的熟练使用可以提高日志分析和处理的效率，对于实现复杂的日志审计和分析任务至关重要。
前言：Linux基本指令学到这里也快接近尾声了，如果对前面内容还有不清楚建议回顾这两篇文章 。
用于去除有序文件中的重复行并将结果输出到标准输出。uniq经常和sort合用，为了使uniq起作用，所有的重复行必须是相邻的。
Linux top命令用于实时显示 process 的动态，当我们在命令框中敲入top命令然后回车之后，可以看到如下输出：
这可不，今天，有个需求是详细输出系统中各个应用（JAVA项目）所占的内存大小，单位以MB显示出来，结果需要直观，为什么有此需求呢？
从Nginx的access.log日志中统计每个IP访问量 #!/bin/bash cat access.log | awk '{print $1}' | sort | uniq -c | sort -nr sort -nr 以阿拉伯数字倒序，小-大，带有符号的内容默认为0，排在数字后面 uniq -c 去除重复，并统计重复次数显示，不加-c只去重，不显示次数 相关文章 Linux之cat命令 Linux之uniq命令 linux之awk使用技巧
通过管道将前一个命令(ls)的输出作为下一个命令(less)的输入，然后就可以一行一行地看。
原文链接:https://rumenz.com/rumenbiji/linux-uniq.html
* 任意个任意字符 ? 任意一个字符 # 注释字符 \ 脱义字符 | 管道符 find /etc/ -type f -name “*conf” -exec cat {} >> 1.txt \; //在
之前做过两年的运维，用过很多命令，深切体会到某些linux命令熟练掌握后对效率提升有多大。举个简单的例子，在做了研发后经常会有跑一些数据，对于结果数据的处理，我们的产品同学一般都习惯于用excel做统计，把数据复制到excel里，然后数据分列，排序………… 最后得出某些简单的结论，我只需要cat, sort, uniq, awk, grep 这几个命令挥手间完成相同的操作。
1、统计出/etc/passwd文件中其默认shell为非/sbin/nologin的用户个数，并将用户都显示出来
Linux以其强大的命令行称霸江湖，Shell命令是数据极客的必修兵器。探索性数据分析，在需求和数据都不太明确的环境下，使用各种命令进行一次探索与挖掘。从基础的文件查看到简单的统计，再到一些常用的探索性分析命令，其目的都只是为了更好的做数据分析与挖掘而已。 01 Shell命令行 对于经常和数据打交道的人来说，数据工程师应该也是常常和Linux打交道。Linux以其强大的命令行称霸江湖，因此，Shell命令也是数据极客的必修兵器。 利用Linux命令行的几个命令，就可以完成一些简单的统计分析工作，比如利用w
最近需要实现自动化搜寻特定文件夹下的特定文件，并且需要分别保存文件路径与文件名。算然使用python的walk能够实现，但是感觉复杂了些。于是想看看linux自带的命令是否能完成这项工作。
云豆贴心提醒，本文阅读时间7分钟 sort是什么 Sort是用于对单个或多个文本文件内容进行排序的Linux程序。 Sort命令以空格作为字段分隔符，将一行分割为多个关键字对文件进行排序。 请注意，除
shell脚本可以让降低大家的工作强度，提升大家的管理能力和薪资报酬，还可以让大家有时间学习提升自己，更能让你有时间喝茶撩妹子。所以，学好shell那就是非常必要的啦，那么在学习shell之前我们得热热身，做一下准备工作了。
本篇内容：顺序执行、选择执行、管道、cut 命令、grep 命令、wc 命令、sort 命令等，高效率使用 Linux 的技巧。
1、进程是什么？进程是应用的执行副本。应用的可执行文件是放在文件系统里，把可执行文件启动，就会在操作系统里（具体来说是内存中）形成一个应用的副本，这个副本就是进程。
sed 是一种在线编辑器，它一次处理一行内容。处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”（pattern space），接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。接着处理下一行，这样不断重复，直到文件末尾。文件内容并没有 改变，除非你使用重定向存储输出。Sed主要用来自动编辑一个或多个文件；简化对文件的反复操作；编写转换程序等。
tail -n 2000 表示的是显示文件最后2000行，差别很大，注意灵活使用。
sort命令在Linux里非常有用，它将文本文件内容进行排序，并将排序结果标准输出或重定向输出到指定文件。
date - print or set the system date and time
对文件内容进行去重 如果文件内容有很多重复的，需要进行去重。sort也是支持的，可以通过-u参数使用
输出重定向和追加重定向是Shell中非常有用的功能，可以将命令的输出结果保存到文件中，而不是在终端上显示(这也是为什么叫做重定向)。这对于日志记录、数据存储等操作非常有用。
cat命令用于查看纯文本文件（内容较少的），英文全称为“concatenate”，语法格式为“cat [参数] 文件名称”。
语法： find pathname -options 功能： 用于在文件树种查找文件（递归查找），并作出相应的处理（可能访问磁盘） 常用选项：
很多时候，我们观察程序是否如期运行，或者是否有错误，最直接的方式就是看运行日志，当然要想从日志快速查到我们想要的信息，前提是程序打印的日志要精炼、精准。 但日志涵盖的信息远不止于此，比如对于 nginx 的 access.log 日志，我们可以根据日志信息分析用户行为。 什么用户行为呢？比如分析出哪个页面访问次数（PV）最多，访问人数（UV）最多，以及哪天访问量最多，哪个请求访问最多等等。 这次，将用一个大概几万条记录的 nginx 日志文件作为案例，一起来看看如何分析出「用户信息」。 ---- 别急着开
linux shell 可以用户定义函数，然后在shell脚本中可以随便调用。shell中函数的定义格式如下
linux shell 常见的面试问题，基本是先让你随便说一些，测试一下你掌握的广度，这时候你至少要说上十个才行，但是！不要说太难的，否则很容易掉进自己的坑里，相当于提醒了面试官去问你 : find ,vi编辑器这种会让面试官出一个极复杂的命令。但是之后 面试官仍然会出一些 非常复杂的命令，本小节复习，除了基础中常见的命令之外，还有常见的复杂命令。
在切割一个文件，在不指定任何的文件名，最后显示的切割完的文件，会是已xab,xac这样一直延续下去，若再切割一次，则会zxaaa,zxaab等依次下去
目录 Linux 三剑客之sed 命令补充： sort命令 uniq命令 cut命令 tr命令 wc命令 三剑客 - sed 编辑模式： 定位分类： 实例如下： d模式——删除模式 p模式——打印 a模式，在当前行后添加一行或多行 i模式，在指定行前一行插入 c模式，替换当前行 r模式，在文件中读内容 w模式，将指定行写入文件 y模式，将字符替换成另外一个 s模式，字符串转换 g模式，全部执行 i模式，忽略大小写 &的使用 练习： Linux 三剑客之sed 命令补充： sort命令 对文本文件的内
history # 表示上一条 !! # 上一条命令的最后一个参数 !$ # 执行history的第555条 !!555 # 执行最近的一条以vi开头的 !vi # 键补全 vi 按两下出来全部v
apt-sortpkgs命令是Debian Linux下对软件包索引文件进行排序的简单工具。
sort是用来排序的，默认是按照ascii升序排列 sort -u排序去重 sort -r 默认是升序排列，如果要降序就带上它 sort -o把结果定向到文件（你是不是用 sort file > result.log？不要想了，就用这个参数吧，因为那样是没用的） sort -n 这是告诉排序是按照数字来的，不是按照ascii来（不然10比2小！！！） sort -n -t : -k 1 绝代双骄！排序按照指定行排序(-t是指定分隔符 -k是指定排序列) 场景？ 文件内容： 1:2 4:5 3:4
Linux常用命令中，除了cat还有很多其他用于文本查看的命令。本文将简单介绍一下这些文本查看的命令。
sort命令 sort 命令，排序。将文件进行排序，并将排序结果标准输出 sort命令，默认按照ASCII码排序 -n 以数字排序，而其中的字符和字母都会默认为0 -r 反序 -t 分隔符 -kn1/-kn1,n2 [root@hf-01 ~]# sort /etc/passwd //sort命令，默认按照ASCII码排序 adm:x:3:4:adm:/var/adm:/sbin/nologin bin:x:1:1:bin:/bin:/sbin/nologin daemon:x:2:2
可执行文件的符号表(symbol table)记录了某个可执行文件中的函数名、全局变量、宏定义等符号信息，这些信息对于我们调试十分重要。
要注意的是，有些命令不支持正则模式，比如fs、find等，有些是支持正则的，比如grep、awk、sed等。正则的语法和js中的正则几乎没有区别，下面仅简单罗列下常用的正则：
碎碎念：今天马拉松入门课程已经结课了，而我才补课到12天，呜呼！原本觉得自己R学的很好想直接跳到转录组，没有linux的基础根本听不懂，还得一步一步慢慢来。直播课连上3小时已经很难坚持了，补课的时候没有互动更加难熬，唯一的好处是听不懂的地方可以反复拖回来看，只能用这个勉强安慰一下自己了(；′⌒`)
接上文。 最近xjjdog的状态很差。也许是春天到了，也许是万物相互有感应的结果，小王的状态也很差。是我影响了他，让他在这个虚拟的世界里不断的yy又不断的沉沦。在此，xjjdog向这个虚拟的小王说一声：对不起，是我没有赋予你一马平川的能力，让你演了5集像韩剧一样又臭又长的电视剧。
对于Linux初学者来说，最头疼的莫过于各种各样的英文指令，比如什么 ls 、touch、pwd 等等，如果单纯的依靠文档学习，理解起来是比较困难的。于是我决定花费大量时间，总结多达40+条基础指令用法，配合动图演示，让大家能够轻松理解、掌握它们，指令很多，文章很长，有需要的同学可以通过文章目录跳转查看指定指令。
8.1 数据流重导向 数据流重导向 (redirect) 由字面上的意思来看，好像就是将『数据给他传导到其他地方去』的样子? 没错~数据流重导向就是将某个指令执行后应该要出现在屏幕上的数据， 给他传输
Linux sort 命令用于将文本文件内容加以排序，可针对文本文件的内容，以行为单位来排序（默认以ASCII编码作比较）。
Linux系统提供了全方位的日志记录。我们登录Linux系统之后做的事情Linux都有相应的日志记录。整个日志系统比较多。这里只介绍和登录比较密切相关的三个日志。
1)在当前目录中，查找后缀有 file 字样的文件中包含 test 字符串的文件，并打印出该字符串的行。此时，可以使用如下命令：
chattr 命令用于改变文件属性 这项指令可改变存放在ext2文件系统上的文件或目录属性，这些属性共有以下8种模式：
顺序执行命令，条件执行 有时候等一条指令执行，时间太久，不妨堆起来一起执行，执行完一条再下一条 每条指令用;隔开就可以啦 sudo apt-get update; sudo apt-get ins
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
