Linux后台服务常用诊断命令和方法

目录

Linux常用诊断命令和方法... 1

1.      修订记录... 2

1操作系统... 3

1.1CPU.. 3

1.2 内存... 7

1.3 磁盘I/O.. 8

1.4 网络I/O.. 10

1.5 系统... 14

1.6 监控... 19

2 调试工具... 19

2.1 编译阶段... 19

2.2 运行阶段... 23

2.3 proc文件系统... 27

3 程序... 28

3.1 进程CPU.. 28

3.2 pgrep查看进程ID.. 28

3.3 内存... 28

3.4 进程磁盘I/O.. 29

3.5 查看进程中的线程数... 29

3.6 进程堆栈... 29

3.7 lsof命令，可以组合使用... 29

3.8 gstack pid. 30

3.9 strace. 30

3.10内存泄漏诊断... 30

3.11 查看进程的运行堆栈信息... 31

3.12 生成core文件... 31

3.13性能诊断... 31

1操作系统

1.1CPU

1.1.1vmstat

-f ,显示系统自启动以来执行的fork次数

-s,显示内存相关的统计信息以及多种系统活动的数量（比如CPU上下文切换次数）

-d，显示磁盘相关的统计信息。

vmstat 1  每隔一秒输出系统状态，数据来源/pro/stat，输出各列的含义

vmstat -S M 1 2    输出流量数据单位为M

统计的是实体机，如果虚拟机执行，则不太准，cs和r常常比较大，没有参考价值

1.1.2 mpstat

查看每个CPU的运行状态，数据来源/pro/stat

mpstat 1/mpstat -P ALL 1           每隔一秒输出一次数据 ， 常用诊断参数有

%idle，数字较低时，出现CPU瓶颈，或者是CPU繁忙

%iowait,数字较大时，则I/O出现问题，每进行一次I/O等待时间较长

1.1.3 top

具体进程情况，主要关注

按键"1"，查询每个CPU负载情况，wa为I/O阻塞（网络和磁盘I/O）且无其他进程竞争，关注id,较低时，负载较高。

查看指定进程情况： top -p 31497 -d 3   查看进程运行状态，每隔3秒输出

1.1.4 uptime

查看负载，运行时间等

1.1.5 sar

sar -u 3 5        查看CPU负载

1.1.6 watch

每隔3秒查看机器负载 watch -n 3 'cat /proc/loadavg'

1.1.7 查看逻辑CPU个数

cat /proc/cpuinfo |grep "processor"|sort -u|wc -l

1.1.8 查看物理CPU个数

grep "physical id" /proc/cpuinfo|sort -u|wc -l

1.1.9 每个物理CPU内核个数

grep "cpu cores" /proc/cpuinfo|uniq

1.1.10 每个物理CPU上逻辑CPU个数

grep "siblings" /proc/cpuinfo|uniq

1.1.11 超线程

1， 逻辑CPU个数 > 物理CPU个数 * CPU内核数

2， cat /proc/cpuinfo中的flags存在ht

1.2 内存

1.2.1 free

free -m可用内存应该是free+buffers+cached    

消息来源 cat /proc/meminfo

1.2.2 cat /proc/slabinfo

查看内存总体使用情况

1.3 磁盘I/O

1.3.1 iostat

iostat -d -x 2        2秒统计一次磁盘I/O数据

iostat /dev/sda4 -x 2        查看指定磁盘I/O情况

常见诊断及解决办法：

1，想区分写压力         则扩容

2，想解决读压力         则增加缓存

MYSQL：

select        读

update      读+写+读

insert        写

则可以根据磁盘读写数据比值来判断mysql的操作

1.3.2 sar

sar -d t1 t2

t1时间统计一次磁盘情况，一共统计输出t2次

1.3.3 iotop

与top命令类似 ，数据来源          /proc/diskstats

1.4 网络I/O

1.4.1 tcpdump

1.4.2 netstat

1.4.3 sar

网络流量sar -n DEV 5 2

每隔5秒，共输出2次，网络情况

rxbyt/s    txbyt/s，接收和发送的数据

网络错误sar -n EDEV 5 2

网络连接数sar -n SOCK 5 2

tcpsck，totalsck 分别为TCP，和总连接数

1.4.4 ss

需要root权限

ss -pt|grep 27408       查看指定进程的socket

ss –s          列出当前socket详细信息

ss -t -a      显示所有tcp socket

ss -u -a     显示所有的UDP Socekt

ss -l          显示本地打开的所有端口

1.4.5 ping

查看网络是否连通

1.4.6 telnet

telnet ip port

查看对应机器上，监听端口port的服务是否存在

1.4.7 curl

通过代理访问外网命令

curl -x"172.23.28.199:8080" http://www.baidu.com

curl -H "Host:www.baidu.com" http://172.23.28.199:8080

1.4.8 dmidecode

1.4.9 dmesg和cat /var/log/messages

关注参数

Out of Memory

allocation failure

table full

time wait bucket table overflow

1.4.10 lscpu

lscpu -p

1.4.11 lspci

一个用来显示系统中所有PCI总线设备或连接到该总线上的所有设备的工具

1.4.12 getconf -a

数据来源    /proc/net/dev

流量包量    /proc/net/snmp

TCP连接数，UDP发送和接收数据量

1.4.13 监控机器流量和TCP连接数

while :; do Transmit_bytes1=`cat /proc/net/dev|grep eth1|awk -F ' ' '{print $9 }'` ; receive_bytes1=`cat /proc/net/dev|grep eth1|awk -F ' ' '{print $1 }'|awk -F ':' '{print$2}'` ;  sleep 1;Transmit_bytes2=`cat /proc/net/dev|grep eth1|awk -F ' ' '{print $9 }'`;receive_bytes2=` cat /proc/net/dev|grep eth1|awk -F ' ' '{print $1 }'|awk -F ':' '{print$2}'`; currEsb=`cat /proc/net/snmp|grep -i "tcp"|tail -n 1|awk -F ' ' '{print $10}'`;echo "TransmitKbps/s: " $(($(($Transmit_bytes2-$Transmit_bytes1))*8/1000 )) ;echo " receiveKbps: " $(($(($receive_bytes2-$receive_bytes1))*8/1000));echo "currEsb: " $currEsb;echo '======================';sleep 5 ;done

1.5 系统

1.5.1 查看位数

getconf LONG_BIT

1.5.2 查看支持线程版本

getconf GNU_LIBPTHREAD_VERSION

1.5.3查看系统版本

cat /proc/version

uname -a

1.5.4 系统内核参数调优

cat /proc/sys/fs/file-max最多打开文件数655290

cat /proc/sys/kernel/pid_max系统最多进程数32768

cat /proc/sys/kernel/threads-max系统最多线程数125889

共享内存

消息队列

信号量:

cat  /proc/sys/kernel/sem          #2500    32000   320     1280

ipcs -s|head          #常用命令

管道:

cat /proc/sys/fs/pipe-size-max    #有问题

端口:

cat /proc/sys/net/ipv4/ip_local_port_range        #21000   61000可使用的端口范围

1.5.5 调优方法

将以下参数值加入/etc/sysctl.conf文件，然后执行命令sysctl -p，生效

1.6 监控

1.6.1 watch

watch -n2 "xxxx"

while:;do xxxx;done

2 调试工具

2.1 编译阶段

2.1.1 nm

获取二进制文件里面包含的符号

常用nm -CAln xxx

等价于objdump xxx -t -C|grep -P "\*UND\*"

2.1.2 strings

获取二进制文件里面的字符串常量

-a不只是扫描目标文件初始化和装载段, 而是扫描整个文件。

-f在显示字符串之前先显示文件名。

常用于查看glibc支持的版本

strings main|grep GLIBC

2.1.3 strip

可执行程序减肥（通常只在已经调试和测试过的生成模块上，因为不能调试了）

2.1.4 c++filt

可以根据符号还原对应的函数调用名，命令空间，类名

2.1.5 反编译，反跟踪

nm 程序可用于列举符号及其类型和值， 但是，要更仔细地研究目标文件中这些命名段的内容， 需要使用功能更强大的工具。 其中两种功能强大的工具是objdump和readelf。

2.1.6 readelf

readelf工具使用来显示一个或多个ELF格式文件信息

常用readelf -h xxx

2.1.7 objdump

反汇编目标文件或者可执行文件的命令

objdump -S xx.o

2.1.8 addr2line

根据地址查找代码行

注意点

1.该可执行程序用-g编译， 使之带调试信息。

2. 如果crash在一个so里面， 那addr2line不能直接给出代码行。

用法：

-a     在显示函数名或文件行号前显示地址

-b     指定二进制文件格式

-C     解析C++符号为用户级的名称,可指定解析样式

-e     指定二进制文件

-s     仅显示文件的基本名，而不是完整路径

-f      同时显示函数名称

-i      展开内联函数

-j      读取相对于指定节的偏移而不是绝对地址

-p     每个位置都在一行显示

eg：addr2line –e exe addr

如果core文件没有调试方法

1，dmesg | grep program_name或者cat /var/log/dmesg，查询IP后面的地址

2，如果是段错误不在加载的so, addr2line -e ./test_prog 0000000000400634 -f| 如果是在加载的so，找到偏移，ip减去spp_module_test.so后面的基址 即7f41e04eecc0-7f41e04eb000=3CC0， addr2line -e spp_module_test.so 3CC0

错误信息描述： qzhttp[32464]: segfault at ffffffff89000001 ip 00007f41e04eecc0 sp 00007fffa99da788 error 6 in spp_module_test.so[7f41e04eb000+5000]

2.2 运行阶段

2.2.1 调试程序的常见步骤

1、确定运行时间主要花在用户态还是内核态 （比较土的一个方法：程序暂时屏蔽daemon()调用， hardcode收到n个请求后exit(0)，time一下程序……）。

2、如果是用户态，则使用gprof进行性能分析。

3、如果是内核态，则使用strace进行性能分析， 另外可以使用其他工具（比如ltrace等）辅助。

2.2.2 ldd

显示程序需要使用的动态库和实际使用的动态库

ldd -r ./common_async_cgi.so

2.2.3 strace

跟踪当前系统调用

常用：strace -p 5157 -T -ttt -c -o strace.txt 

strace -p 5157 -T -ttt -c -e trace=process

2.2.4 ltrace

跟踪当前库函数

参数和strace很接近,基本一致

常用法：ltrace -p 5157 -T -ttt -c ltrace -p 5157 -T -ttt -c -o ltrace.txt

2.2.5 time

查看程序执行时间、用户态时间、内核态时间

time只跟踪父进程，所以不能fork

2.2.6 gprof

显示用户态各函数执行时间

使用步骤

1、使用 -pg 编译和链接应用程序

gcc -pg -o exec exec.c

如果需要库函数调用情况: gcc -lc_p -gp -o exec exec.c

2、执行应用程序使之生成供gprof 分析的数据gmon.out

3、使用gprof 程序分析应用程序生成的数据

gprof exec gmon.out > profile.txt

注意：

程序必须通过正常途径退出（exit()、main返回），kill无效。 对后台常驻程序的调试——我的比较土方法是，屏蔽daemon()调用， 程序hardcode收到n个请求后exit(0)。

有时不太准。只管了用户态时间消耗，没有管内核态消耗。

2.2.6 gdb

调试可执行程序，或者调试core文件

gdb <program><core文件>

2.2.7 oprofile

使用oprofile进行cpu使用情况检测， 需要经过初始化、启动检测、导出检测数据、 查看检测结果等步骤，以下为常用的oprofile命令。

2.2.8 valgrind

检查内存错误

valgrind--tool=memcheck --leak-check=full  ./spp_worker ../etc/spp_worker1.xml

2.2.9 mtrace

mtrace是glibc內提供的工具，原理很简单， 就是把你程序中malloc()和free()的位置全部下來， 最后两辆配对，沒有配对到的就是memory leak。

2.2.10 perf

常用

1，perf record -g -e cycles -p pid或者perf record -g -e cycles -a ./xxx（应用名）

2，perf report -g --stdio -i perf.data

perf stat/record /report

perf list

perf top -p pid

perf stat -p pid

perf record -g -e cycles -p pid

2.3 proc文件系统

内核的窗口

proc文件系统是一个伪文件系统， 它存在内存当中，而不占用外存空间。

用户和应用程序可以通过proc得到系统的信息， 并可以改变内核的某些参数。

3 程序

3.1 进程CPU

pidstat

数据来源/pro/$pid/stat

top -p $pid

3.2 pgrep查看进程ID

pgrep pidname

pidstat -p $(pidof memtest) -r 1

3.3 内存

常用命令

pidstat -p $pid  -r 1

ps -o majflt,minflt -p pid

参数含义

minflt/s 缺页中断，需要分配物理内存

majflt/s，缺页中断，需要向磁盘读写数据

VSZ ，虚拟内存占有

RSS，实际占有物理内存

SHM共享内存

实际物理内存为RSS-SHM

可以根据VSZ,RSS的值是否一直上升来判断是否内存泄漏

watch -n2 'ps -o vsz,rss -p $pid'

3.4 进程磁盘I/O

pidstat -p $pid -d 1

参数含义

kB_rd/s，读数据

kB_wr/s，写数据

3.5 查看进程中的线程数

ls /proc/PID/task | wc -l

3.6 进程堆栈

cat /proc/$pid/maps

pmap -d $pid

3.7 lsof命令，可以组合使用

3.8 gstack pid

查询进程实时堆栈信息

watch -n2 "gstack pid"

3.9 strace

常用来跟踪进程执行时的系统调用和所接收的信号

strace -p 17510 -T –emsgrcv  查看进程对应的msgrcv操作

strace -p 17510          查看进程系统调用

strace -T -r -c -p 2302      统计系统调用

3.10内存泄漏诊断

valgrind

valgrind --tool=memcheck --log-file=test.txt --leak-check=full --show-reachable=yes ./pledgeseller

3.11 查看进程的运行堆栈信息

gstack thread-pid

3.12 生成core文件

gcore pid

kill -6 pid

3.13性能诊断

- Linux下的系统性能调优工具