3.能力提升 shell属于初级脚本 后期可以尝试学习python，perl等
感觉是pymongo未能完全close掉和mongodb创建的tcp连接，并且在mongo连接未自动释放前进行高频连接，导致连接数爆满造成的。
按空格区分进行去重，所以得出的是15:31:07.763000000,陕西省咸阳市,qq.com,5这后半部分。
本文介绍了如何通过shell命令行进行两个文件之间的对比，包括使用cat命令、while循环、for循环以及grep命令等方法。通过这些方法，可以方便地求出两个文件中每行对比的相同内容，并输出结果。
需求是统计某个业务的访问个数日志服务器上的目录结构是如下,搜索最近7天的指定关键字数据,并排重统计个数:
说到数组，一般下标都是从0开始，然后递增；而awk的数组的下标可以是 任意内容，比如下面的例子：
本篇内容：顺序执行、选择执行、管道、cut 命令、grep 命令、wc 命令、sort 命令等，高效率使用 Linux 的技巧。
history # 表示上一条 !! # 上一条命令的最后一个参数 !$ # 执行history的第555条 !!555 # 执行最近的一条以vi开头的 !vi # 键补全 vi 按两下出来全部v
关于端口识别与服务监控问题，早有大牛提供过masscan扫端口+nmap扫服务思路。但在亲自实践过程中，发现最致命的问题是nmap扫描速度太慢，导致无法接受这个扫描时长，尤其是存在大量ip的情况下。于是考虑nmap参数调优、多进程扫描等方式，但效果甚微，最后与几位未曾相识的大牛们在群里讨论过之后，最终得到一个比较满意的结果，下面就详细得分享下这个项目。
前言：Linux基本指令学到这里也快接近尾声了，如果对前面内容还有不清楚建议回顾这两篇文章 。
来源：运维派 1、数据库索引可以明显提高哪一操作的效率？ 正确答案: A A SELECT B INSERT INTO … VALUES … C UPDATE D DELETE 2、数据库：以下哪种锁定方式能提供最佳的并行访问性能？ 正确答案: D A 列锁定 B 表锁定 C 块锁定 D 行锁定 3、从DELETE 语句中省略WHERE 子句，将产生什么结果？ 正确答案: B A DELETE 语句将失败因为没有记录可删除 B DELETE 语句将从表中删除所有的记录 C DELETE 语句将提示用户进入
生活中、工作中，有时候总需要随机生成一些字符串，如果只是一两条还好，多了就不容易搞…… 对于开发人员可能没什么问题，但对于不是程序员的我们应该怎么做呢？ 答案很简单，一个Shell脚本就能实现
通过管道将前一个命令(ls)的输出作为下一个命令(less)的输入，然后就可以一行一行地看。
shell脚本可以让降低大家的工作强度，提升大家的管理能力和薪资报酬，还可以让大家有时间学习提升自己，更能让你有时间喝茶撩妹子。所以，学好shell那就是非常必要的啦，那么在学习shell之前我们得热热身，做一下准备工作了。
之前做过两年的运维，用过很多命令，深切体会到某些linux命令熟练掌握后对效率提升有多大。举个简单的例子，在做了研发后经常会有跑一些数据，对于结果数据的处理，我们的产品同学一般都习惯于用excel做统计，把数据复制到excel里，然后数据分列，排序………… 最后得出某些简单的结论，我只需要cat, sort, uniq, awk, grep 这几个命令挥手间完成相同的操作。
顺序执行命令，条件执行 有时候等一条指令执行，时间太久，不妨堆起来一起执行，执行完一条再下一条 每条指令用;隔开就可以啦 sudo apt-get update; sudo apt-get ins
grep awk sed是Linux下文本处理常用的命令，能完成很多神奇的操作，今天就分享一下这三个命令最常见的用法
1、统计出/etc/passwd文件中其默认shell为非/sbin/nologin的用户个数，并将用户都显示出来
很多时候访问目标资产IP响应多为：401、403、404、500，但是用域名请求却能返回正常的业务系统（禁止IP直接访问），因为这大多数都是需要绑定host才能正常请求访问的 （目前互联网公司基本的做法）（域名删除了A记录，但是反代的配置未更新），那么我们就可以通过收集到的目标的 域名 和 目标资产 的IP段组合起来，以 IP段+域名 的形式进行捆绑碰撞，就能发现很多有意思的东西。
例如：“m y s t r i n g”。这样做有两个原因，一是以防被误解为s h e l l命令，二是可以用来查找多个单词组成的字符串。
echo 功能：也能打印内容，默认向显示器打印。如下所示：
1.查找文件 find / -name filename.txt 根据名称查找 /目录下的 filename.txt 文件。
##查看服务在每个级别的运行状态 chkconfig --list httpd 0:关闭 1:关闭 2:关闭 3:关闭 4:关闭 5:启用 6:关闭 bluetooth 0:关闭 1:关闭 2:关闭 3:关闭 4:关闭 5:关闭 6:关闭 #停止 HTTPD服务 [root@zhangxx etc]# service httpd stop 停止 httpd：[ 确定 ] #启动httpd服务 [root@zhangxx etc]# service httpd start 启动 httpd：[ 确定 ] #重
sort命令用于将文本文件的行排序。默认情况下，sort命令是按照字符串的字母顺序排序。
管道负责单向连接前一个程序的标准输出与后一个程序的标准输入，其本质是一个共享文件。我们日常最常用到的管道是匿名管道，Shell中的管道符号为“|”。
在 promtail 收集并将日志发送给Loki 之后， Distributor 就是第一个接收它们的组件，每秒可以接收数百万次写入。Distributor会对接收到的日志流进行正确性校验，并将验证后的chunk日志块分批并行发送到Ingester。
crontab：它是会把你指定的工作或任务，比如：脚本等，按照你设定的周期一直循环执行下去。
数据清洗过程中的典型问题：数据分析|R-缺失值处理、数据分析|R-异常值处理和重复值处理，本次简单介绍一些R处理重复值的用法：
作者：matrix 被围观: 3,750 次 发布时间：2020-10-28 分类：command Linux | 无评论 »
小编编程资质一般，刚出道的时候使用的是windows来做程序开发，平时linux命令的知识仅限于在学校里玩ubuntu的时候学到的那丁点。在一次偶然看见项目的主程敲着复杂的shell单行命令来处理日志的时候感到惊讶不已。后来自己自学了一点shell编程，刚看完一本书没过多久就忘记了，因为工作中用到的实在太少，而且命令如此之多，学了一个忘了另一个，始终摸不着门道在哪。
写在前面:你需要先安装好nginx,你可以先看看https://cloud.tencent.com/developer/article/1623611
在前两个星期,我负责的一个小型企业网站遭受到了攻击,导致网站非常的卡，正常用户无法访问；初步判断是CC攻击; 这样的攻击防御起来还是比较简单的；后来服务器又受到了攻击，服务器卡的完全链接不上去；这个时候才知道我当时服务器的安防是有多脆弱!
QPS = req/sec = 请求数/秒 Q：如何根据日志查看一个服务的qps A： 一般access.log是记录请求的日志，tail -f XXX.access.log ，可发现格式如下： 前
我想有以下几类人迫不及待地想修改微信号： 1、微信号里有前任名字的全拼或缩写； 2、微信号里有自己或前任的生日 3、微信号里有电话号码（想接电话的除外）
前段时间做数据收集时需要下载网宿cdn的日志进行分析。而网宿对日志下载的接口搞得很复杂，又没有提供相应的sdk，只是提供了一个shell脚本，虽然在ubuntu上使用很方便，但是脚本里面的各种重定向分析非常复杂。故此想对重定向在深入了解一点。
作为一个Java开发人员，有些常用的Linux命令必须掌握。即时平时开发过程中不使用Linux（Unix）或者mac系统，也需要熟练掌握Linux命令。因为很多服务器上都是Linux系统。所以，要和服
1）、vrrp_script check_graylog中注释掉#weight 50
Nginx -s 发送信号： stop quit reopen reload
你有没有经历过：一大早就被疯狂的报警炸醒，由于线上应用 CPU 占用率过高 ......
重导与管道: 重导(redirect)可将某命令的结果输出导文件中， 它有两中命令： “>”和“>>”。 “>”可将结果输出到文件中， 该文件原有的内容会被删除： “>>”则将结果附加到文件中， 原文件内容不会被清除。范例如下： ls –a>dir.txt ← 将 ls –a命令执行结果输出到 dir.txt文件。 cat data1.txt >> data2.txt ← 将 data1.txt 内容附加到 data2.txt文件之后。 通道(pipe)命令的符号是“ ”，可将某命令的结果输出给另一命令，一下范例将 ls命令的输出结果传给 grep命令过滤： ls grep conf ← 搜索并显示 ls命令运行结果中包含有“conf”字符串 在举一个删除文件或目录的例子，可以利用 yes命令重复输出“y”字符的特性，将结果传给 rm命令，如此即可避免重复输入“y”： yes rm –r mydi 用光盘及软盘在 Linux的文字模式下要使用光盘或软盘， 并不是只将光盘或软盘放入即可， 用户需要运行加载的命令， 才可读写数据。 所谓加载就是将存储介质（ 如光盘和软盘）指定成系统中的某个目录（如/mnt/cdrom或 mnt/floppy）。通过直接存取此加载目录，即可读写存储介质中的数据。以下就来看看文字模式下的加载及卸载命令。 加载的mount(登上、增加)命令 要使用光盘时先把光盘放入光驱， 然后执行加载的mount命令， 将光盘加载至系统中： mount /dev/mut/cdrom← 加载光盘 同理，使用软盘之前也需要和光盘一样，必须先加载后才能使用： mount /dev/mut/floppy← 加载软盘 卸载的umount命令 如果不需要使用光盘或软盘， 则需先执行卸载命令之后， 才能将光盘或软盘退出。 范例如下：umount /mnt/← 光盘卸载 在不使用软盘时执行umount 命令卸载软盘，再将软盘拿出 umount /mnt/← 软盘卸载 后台运行程序 用户有时的程序有可能要花费很多时间， 如果将它放在前台运行， 将导致无法继续做其他事情， 最好的方法就是将它放在后台运行， 甚至可能希望在用户注销系统后， 程序还可以继续运行。让我们看看那如何实现这一目的。 在后台运行程序的&、 bg命令 将程序放到后台运行的最简单方法就是在命令最后加上“&”,范例如下： update db &← 在后台执行 locate 数据库更新命令 bg ← 将更新操作放到后台运行 前台运行的程序fg命令 如果用户当前已有程序在后台运行，可以输入fg命令，将它从背景中移到前台运行： fg ← 放到前台执行的命令会显示出来 在退出后让程序继续运行的nohup命令 此命令可使用户退出系统后，程序继续运行。范例如下： nohup myserver&然后用户就可以退出了， 当再次登录的时候， 可以用ps–aux命令看到程序仍在后台中运行。
前段时间，公司上线了一个“大屏”项目，用于对接展示一些业务平台的数据。但是在上线后使用过程中，产品或业务经常反馈前台页面没有数据。出现这种情况后，开发人员会去排查问题，解决后再通知产品或业务人员解决修复情况。虽然研发每次都能在较短的时间内响应并解决问题，但运行一段时间后又会反复出现，也给用户造成了极其不好的使用体验。而本文则是基于“测试右移”思想，开展的一次后台服务监控告警的实践记录总结，整个实践过程可以分为：
Linux以其强大的命令行称霸江湖，Shell命令是数据极客的必修兵器。探索性数据分析，在需求和数据都不太明确的环境下，使用各种命令进行一次探索与挖掘。从基础的文件查看到简单的统计，再到一些常用的探索性分析命令，其目的都只是为了更好的做数据分析与挖掘而已。 01 Shell命令行 对于经常和数据打交道的人来说，数据工程师应该也是常常和Linux打交道。Linux以其强大的命令行称霸江湖，因此，Shell命令也是数据极客的必修兵器。 利用Linux命令行的几个命令，就可以完成一些简单的统计分析工作，比如利用w
tail -n 2000 表示的是显示文件最后2000行，差别很大，注意灵活使用。
首先使用SHUTDOWN NORMAL方式关闭数据库，在数据库未关闭时CTRL+Z停止执行，退出用SQLPLUS重登陆，出现报错：ORA-01012: not logged on 实验如下： 首先执行 SYS@bys1>shutdown ORA-01013: user requested cancel of current operation [oracle@bys001 ~]$ sqlplus / as sysdba SQL*Plus: Release 11.2.0.1.0 Product
基本概念 物理CPU：物理CPU就是插在主机上的真实的CPU硬件，在Linux下可以数不同的physical id 来确认主机的物理CPU个数。 核心数：物理CPU下一层概念就是核心数，我们常常会听说多核处理器，其中的核指的就是核心数。在Linux下可以通过cores来确认主机的物理CPU的核心数。 逻辑CPU：核心数下一层的概念是逻辑CPU，逻辑CPU跟超线程技术有联系，假如物理CPU不支持超线程的，那么逻辑CPU的数量等于核心数的数量；如果物理CPU支持超线程，那么逻辑CPU的数目是核心数数目的两倍。在Linux下可以通过 processors 的数目来确认逻辑CPU的数量。 超线程：超线程是英特尔开发出来的一项技术，使得单个处理器可以象两个逻辑处理器那样运行，这样单个处理器以并行执行线程。这里的单个处理器也可以理解为CPU的一个核心；这样便可以理解为什么开启了超线程技术后，逻辑CPU的数目是核心数的两倍了。 在Linxu下查看物理cpu、核心数、逻辑CPU和是否支持超线程 关于CPU的一些信息可在 /proc/cpuinfo 这个文件中查看，这个文件显示的内容类似于下图所示
linux shell 常见的面试问题，基本是先让你随便说一些，测试一下你掌握的广度，这时候你至少要说上十个才行，但是！不要说太难的，否则很容易掉进自己的坑里，相当于提醒了面试官去问你 : find ,vi编辑器这种会让面试官出一个极复杂的命令。但是之后 面试官仍然会出一些 非常复杂的命令，本小节复习，除了基础中常见的命令之外，还有常见的复杂命令。
check_args()检查若参数个数小于1，打印help信息。检查第一个参数对应的文件夹不存在，报错以及打印help信息。
这可不，今天，有个需求是详细输出系统中各个应用（JAVA项目）所占的内存大小，单位以MB显示出来，结果需要直观，为什么有此需求呢？
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
