版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/haluoluo211/article/details/77766092
1、统计一下代码量 find . -name "*.py" | xargs wc -l | awk 'BEGIN {size = 0} { size+=$1} END{print size/2}' find . -name "*.py" | xargs cat | wc -l (1)find，拿到所有py结尾的文件，你写相对路径得到相对路径，绝对路径得到绝对路径 (2)wc -l计数 (3)awk求和，wc其实能算出来总数，所以后面除2 2、对满足某个条件的字段计数 cat a.text | awk '{
脚本是解决问题的有效方法，而awk是编写脚本的出色语言。 它特别擅长简单文本处理，并且它可以带您完成配置文件的某些复杂重写或目录中文件名的格式重新格式化。
awk是一种模式扫描和处理工具，相对于grep的查找，sed的编辑，它在对数据进行分析生成报表时显得尤为强大。awk通过逐行遍历一个或多个 文件的方式，查找模式匹配到的行，而后以指定的分隔符（缺省为空格）进行切片，然后针对切片数据进行处理和分析。事实上，gawk有自己的语言，其本身就 相当于一个解释器，允许用户创建简短的程序读取输入文件，对输入数据执行排序、计算以及生成报表操作，甚至可以类似bash shell实现诸如循环、数组、条件判断、函数、变量等功能，进而完成更为复杂的数据分析处理任务。
现有如下文本，格式如下：即左边是随机字母，右边是随机数字, 即将相同的字母后面的数字加在一起，按字母的顺序输出
本文为awk入门系列的第二篇文章，在本篇文章中，你可以了解到有关字段，记录和一些功能强大的awk变量。
AI摘要：本文详细介绍了Linux下的文本处理工具awk的使用方法，包括其语法、选项参数、内置变量、常用操作（如打印、条件判断、循环等）以及一些实用的示例。awk通过将文本按行读取并以指定的分隔符分割成多个字段，使得对文本的处理变得灵活高效。文章还提供了如何打印指定列、过滤日志、按条件统计、指定多个分隔符、日志切割、匹配指定列和统计文件大小等实际应用示例，以及一个统计nginx日志数据的awk脚本示例。通过这些内容，读者可以全面掌握awk命令的强大功能，有效地应用于日志分析、数据处理等场景。
awk是专门为文本处理设计的编程语言，是一门数据驱动的编程语言，与sed类似都是以数据驱动的行处理软件，主要用于数据扫描、过滤、统计汇总工作，数据可以来自标准输入、管道或者文件。
awk 脚本有三个主要部分：BEGIN 和 END 函数（都可选），用户自己写的每次要执行的函数。某种程度上，awk 的主体部分就是一个循环，因为函数中的命令对每一条记录都会执行一次。然而，有时你希望对于一条记录执行多次命令，那么你就需要用到循环。
当读到第一行时，匹配条件，然后执行指定动作，再接着读取第二行数据处理，不会默认输出。
seq 100 |awk '{sum=sum+$1;print sum}END{print sum}'
对于后台开发工程师而言，不管你是什么语言的工程师。对于统计线上数据，从日志提炼信息等等场景，awk都是必备神器！
正则表达式: 匹配一组字符: #[ns]a.\.xls //[]用于限定字符；“.”用于匹配任意字符; \.用于转义"." 匹配到s/na*.xls [nN] 匹配大小写；[0-9] 匹配0-9数字；[a-zA-Z0-9] 匹配任意字符数字 注意:"-"(连字符)是一个特殊的元字符,作为元字符只能用在[]中间 用^元字符进行取非操作，但是必须用在[]之间 #[ns]a[^0-9]\.xls 匹配n/sa*.xls *表示任意字符 使用元字符: 元字符自己使用必
目录 Linux 三剑客之awk 简介 应用场景 awk执行流程图 awk生命周期 awk内置（预定义）变量 行与列描述 取行 取列 awk中的函数 条件的分类 awk正则详细： 普通正则和awk正则区别 范围表达式 逻辑表达式 算术表达式 特殊模式BEGIN{}和END{} awk数组 awk 的 判断、循环 if循环 循环 总体练习 易错点： Linux 三剑客之awk 📷 简介 awk主要是用来格式化文本，也有人称awk是一种语言，类似 C，awk 是三剑客的老大，利剑出鞘，必会不同凡响。 应
本文介绍了如何利用awk命令对日志文件进行统计分析。主要包括三个方面的内容：1.利用awk命令统计日志中IP地址出现次数；2.利用awk命令统计日志中访问来源；3.利用awk命令统计日志中访问站点。
前段时间看了一下awk的使用选项，字段变量，标准变量，操作运算符，正则表达式，数组和控制流，并且也附带着一些相关的案例，总的来说，在深入了解和使用AWK之后，还是带来了很多的便利，在处理文本的文件的时候提供了更多的思路和便捷，比如按需自定义打印文本显示格式，进行一些简单的数据处理，同时awk还有和shell,python，go一些编程语言类似的循环，条件，逻辑处理，以及一些内置的函数更方便的帮助在命令行完成一些文本处理工作。今天完成了awk剩余的一些知识点学习。
awk不仅仅是linux系统中的一个命令，而且是一种编程语言；它可以用来处理数据和生成报告（excel）；处理的数据可以是一个或多个文件；可以是直接来自标准输入，也可以通过管道获取标准输入；awk可以在命令行上直接编辑命令进行操作，也可以编写成awk程序来进行更为复杂的运用。
#!/bin/bash # 算法解密84位加密，进制转换解密脚本 # 脚本开发：万杨 # 由于企业保密要求，本次算法过程已经经过更改处理 bcrpm=`rpm -qa | grep "^bc" | wc -l` # 定义bcrpm变量：查看已安装包，过滤开头为 bc 并且 wc -l 进行计数 if [ $bcrpm -lt 1 ] # lt 小于：参考：shell if 条件判断文件或目录；字符串
我们知道 Linux 三剑客，它们是 grep、sed、awk。在前边已经讲过 grep 和 sed，没看过的同学可以直接点击阅读，今天要分享的是更为强大的 awk。
下面所说的是Linux中最重要的三个命令在业界被称为“三剑客”，它们是awk,sed,grep。
在 Linux 中，你可以使用多种命令来统计文件的行数。以下是其中一些常用的命令：
简单使用： awk ：对于文件中一行行的独处来执行操作 。 awk -F ：'{print $1,$4}' :使用‘：’来分割这一行，把这一行的第一第四个域打印出来 。 AWK命令介绍 awk
awk、grep、sed是linux操作文本的三大利器，也是必须掌握的linux命令之一。三者的功能都是处理文本，但侧重点各不相同，其中属awk功能最强大，但也最复杂。grep更适合单纯的查找或匹配文本，sed更适合编辑匹配到的文本，awk更适合格式化文本，对文本进行较复杂格式处理。
awk 是一个文本处理工具，通常用于处理数据并生成结果报告，awk的命名是它的创始人 Alfred Aho、 Peter Weinberger 和 Brian Kernighan 姓氏的首个字母组成的。
科学计数法使用e标识数值，将科学计算学转化为数字的思路：按e右边的数字移动小数点位数。e右边的数字如果是负数，则向左移动小数点。示例如下:
一、需求分析 需求： 使用shell定制各种个性化告警工具，但需要统一化管理、规范化管理。 思路： 指定一个脚本包，包含主程序、子程序、配置文件、邮件引擎、输出日志等。 主程序： 作为整个脚本的入口，是整个系统的命脉。 配置文件： 是一个控制中心，用它来开关各个子程序，指定各个相关联的日志文件。 子程序： 这个才是真正的监控脚本，用来监控各个指标。 邮件引擎： 是由一个python程序来实现，它可以定义发邮件的服务器、发邮件人以及发件人密码。 输出日志： 整个监控系统要有日志输出。 要求： 我们的机器角色多
之前我一直使用 Python 来处理 Linux 的一些文本，但是对于一些大文本的简单处理，Python 麻烦而且慢，于是现在慢慢改用awk来处理，很多时候一行命令就能解决，因此非常方便。针对使用是过程的一些心得，写个小小的教程，awk太强大了，需要慢慢长时间的学习，我尽量保持更新这个教程吧。
日志路径：/usr/local/nginx/logs, 截取access.log中2019年3月24日17点00~02之间的日志： 写法1：
grep命令是Linux系统中最重要的命令之一，功能是从文本文件或管道数据流中筛选匹配的行和数据，如果再配合正则表达式，功能十分强大，是Linux运维人员必备的命令
原文：https://opensource.com/article/19/10/advanced-awk
格式：函数必须要放在最前面，function 后是函数的名字，并且 function 这个单词是可以省略掉的，花括号{} 里面为具体的命令
2表示的是每一行的第二列，是一个变量；hotel[2]++这种形式类似于i++，只不过把变量i换成了数组hotel[
今天在查看服务器日志的时候无意间发现我 nginx 的日志文件有一天很大，于是猜测应该是有人在用脚本请求平台，进行想看看到底是个什么情况，所以有了这篇与 ChatGPT 的聊天记录。
awk 是 Unix 和 Linux 用户工具箱中最古老的工具之一。awk 由 Alfred Aho、Peter Weinberger 和 Brian Kernighan（即工具名称中的 A、W 和 K）在 20 世纪 70 年代创建，用于复杂的文本流处理。它是流编辑器 sed 的配套工具，后者是为逐行处理文本文件而设计的。awk 支持更复杂的结构化程序，是一门完整的编程语言。
这是十条linux系统下命令行操作模式时应该遵守的好习惯，他们不仅可以让你的操作更快，也能减少你失误的可能性。它们分别是
把当前文件夹的文件名用"，"连接成一行，或者将多行转变为一行 ls | paste -s -d "," # -s 选项将输入进行一次性粘贴 ls | xargs | sed 's/ /,/g' #xargs 将输入作为参数(空格分隔)传入 ls | awk '{printf "%s,",$0}' 将行逆序输出 sed '1!G;h;$!d'file # 1!G 第一行不执行G命令，从第二行开始执行；$!d 最后一行不删除；第一行自动存入模式空间，将模式空间内容（第一行）放到保持空间(h)，然后删除模式
awk是一个处理文本的编程语言工具，能用简短的程序处理标准输入或文件、数据排序、计算以及生成报表等等。 在Linux系统下默认awk是gawk，它是awk的GNU版本。可以通过命令查看应用的版本：ls -l /bin/awk 基本的命令语法：awk option 'pattern {action}' file 其中pattern表示AWK在数据中查找的内容，而action是在找到匹配内容时所执行的一系列命令。花括号用于根据特定的模式对一系列指令进行分组。 awk处理的工作方式与数据库类似，支持对记录和字段处理，这也是grep和sed不能实现的。 在awk中，缺省的情况下将文本文件中的一行视为一个记录，逐行放到内存中处理，而将一行中的某一部分作为记录中的一个字段。用1,2,3...数字的方式顺序的表示行（记录）中的不同字段。用$后跟数字，引用对应的字段，以逗号分隔，0表示整个行。
首先nginx的日志是按照时间顺序的。因此计算QPS，只需要先统计条数，再计算时间差，二者相除就可以得到。
学习Linux系统的朋友们肯定都会接触到正则表达式，或者开发人员也会遇到这个东东，说起正则表达式，使我想起“会者不难，难者不会”这句话，的确如此，相信很多人刚接触正则表达式，肯定一头雾水，觉得很难学会，是的，民工哥也是这么个感觉，但是相信大家都认真去学习、去练习，肯定能学会的。
一个awk 程序是一对以模式(pattern) 与大括号框起来的操作(action) 组合而成的，或许，还会加上实现操作细节的函数(function ) 。针对每个匹配于输人数据的模式，操作会被执行，且所有模式都会针对每条输人记录而检查。模式或操作可省略其中一个。如果模式省略，则操作将被应用到每条输人记录; 如果操作省略，则默认操作为打印匹配之记录在标准输出上。以下是传统awk 程序的配置:
对于正则表达式，相信很多人都知道，但是很多人的第一感觉就是难学，因为看第一眼时，觉得完全没有规律可寻，而且全是一堆各种各样的特殊符号，完全不知所云。
awk是一种编程语言，用于在linux/unix下对文本和数据进行处理。数据可以来自标准输入、一个或多个文件，或其它命令的输出。它支持用户自定义函数和动态正则表达式等先进功能，是linux/unix下的一个强大编程工具。它在命令行中使用，但更多是作为脚本来使用。awk的处理文本和数据的方式是这样的，它逐行扫描文件，从第一行到最后一行，寻找匹配的特定模式的行，并在这些行上进行你想要的操作。如果没有指定处理动作，则把匹配的行显示到标准输出(屏幕)，如果没有指定模式，则所有被操作所指定的行都被处理。awk分别代表其作者姓氏的第一个字母。因为它的作者是三个人，分别是Alfred Aho、Brian Kernighan、Peter Weinberger。gawk是awk的GNU版本，它提供了Bell实验室和GNU的一些扩展。下面介绍的awk是以GUN的gawk为例的，在linux系统中已把awk链接到gawk，所以下面全部以awk进行介绍。
1. 概述 在本教程中，我们将学习使用 Linux 命令查找文本文件中特定字符的计数。 假设你对常用的 Linux 命令有基本的了解，包括grep、awk、tr和wc。 rumenz.txt 中有一些虚拟数据： > cat rumenz.txt rumenz.txt hello world!!!! 2.使用 grep 命令 该grep的用于在输入文件中的给定图案的命令的搜索。 让我们通过命令来使用grep 获取字符数 ： > grep -o 'e' rumenz.txt | wc -l 2 在这里，我
3.能力提升 shell属于初级脚本 后期可以尝试学习python，perl等
awk是什么？awk是一个报表生成器，拥有强大的文本格式化的能力。我们可以利用awk来处理文本，整理成各种“表”的样子。
NR:NR表示从awk开始执行后，按照记录分隔符读取的数据次数，默认的记录分隔符为换行符，因此默认的就是读取的数据行数，NR可以理解为Number of Record的缩写。
这条命令的作用是将标准输出1重定向到/dev/null中。 /dev/null代表linux的空设备文件，所有往这个文件里面写入的内容都会丢失，俗称“黑洞”。那么执行了>/dev/null之后，标准输出就会不再存在，没有任何地方能够找到输出的内容。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
