2 概念 2.1 软中断概念 linux的中断会打断CPU当前的工作，中断一般都设计的短小精悍。...但是也为了解决中断处理程序执行时间过长和中断丢失的问题，Linux的中断分为两个阶段： 上半部用来快速处理中断，它在中断禁止模式下运行，主要处理硬件相关和时间敏感的工作 下半部用来延迟处理上半部未完成的工作...而下半部以内核线程的方式执行，并且每个CPU都对应一个软中断内核线程，名字为 “ksoftirqd/CPU 编号”，比如说， 0 号 CPU 对应的软中断内核线程的名字就是 ksoftirqd/0。...不过要注意的是，软中断不只包括了刚刚所讲的硬件设备中断处理程序的下半部，一些内核自定义的事件也属于软中断，比如内核调度和RCU 锁（Read-Copy Update 的缩写，RCU是 Linux 内核中最常用的锁之一...另外，刚刚提到过，软中断实际上是以内核线程的方式运行的，每个 CPU 都对应一个软中断内核线程，这个软中断内核线程就叫做 ksoftirqd/CPU 编号。那要怎么查看这些线程的运行状况呢？
Linux 在每个 CPU 上会创建一个 ksoftirqd 内核线程。 softirqs 是在 Linux 内核编译时就确定好的，例如网络收包对应的 NET_RX_SOFTIRQ 软中断。...-5.15.4/net/core/dev.c 注册网卡收发包（RX/TX）软中断处理函数 open_softirq(NET_TX_SOFTIRQ, net_tx_action); open_softirq...硬中断是昂贵的，因为它们不能被中断。即使有中断 合并（稍后详细描述），中断处理程序将独占一个 CPU 内核 完全地。NAPI 的设计允许驱动程序进入轮询模式而不是被 为每个需要的数据包接收硬中断。...在正常操作下，会引发初始硬中断或 IRQ，然后是 SoftIRQ 处理程序 它使用 NAPI 例程轮询卡。轮询例程有一个预算，它决定了 允许代码的 CPU 时间。.../about-linux-smp_affinity https://web.archive.org/web/20200225050436/http://blog.yufeng.info/archives
我们没必要啃明白软中断的所有原理，但从一名追求性能的开发者的角度来看，我们有必要了解以下问题： 1、一次软中断的开销到底多大？ 2、你的服务器上被软中断吃掉了多少CPU时间？...1 软中断的诞生 CPU正常情况下都是专心处理用户的进程的，当外部的硬件或软件有消息想要通知CPU，就会通过中断请求（interrupt request，IRQ）的方式来进行。...所以现代的Linux又发明了软件中断，配合硬中断来处理网络IO。硬中断你可以理解只是个收包的，把包收取回来放到“家里”就完事，很快就能完成，这样不耽误CPU响应其它外部高优先级的中断。...软中断消耗的CPU周期相对比硬中断要多不少，所以我们本文来重点关注软中断的开销。 2 软中断的开销估算 前面大致介绍了软中断的来龙去脉，好了直接进入本文的主题上，软中断开销到底多大。...3）计算每次软中断的耗时 该机器是16核的物理实机，故可以得出每个软中断需要的CPU时间是=12ms/(56000/16)次=3.428us 从实验数据来看，一次软中断CPU开销大约3.4us左右 3
kworker表示进行“工作”（处理系统调用）的Linux内核进程。...在进程列表中可以有多个：kworker/0:1在第一个CPU内核上kworker/1:1是一个，在第二个CPU内核上是一个，依此类推。 为什么kworker占用您的CPU？...查看CPU回溯中经常发生的情况，希望它可以指出问题的根源。...10 然后会在当前目录下生成一个perf.data 用以下命令查看 sudo perf report 我们看到arch_cpu_idle占用大量CPU。...于是问了Fedora telegram群里的，翻了下arch/arm64/kernel/process.c 结论居然根本没有其他进程在使用CPU，Linux会自动保存CPU运作。
软中断分析最近工作繁忙，没有时间总结内核相关的一些东西。上次更新博客到了linux内核中断子系统。这次总结一下软中断，也就是softirq。之后还会总结一些tasklet、工作队列机制。...调用__local_bh_disable关闭软中断，其实就是设置正在处理软件中断标记，在同一个CPU上使得不能重入__do_softirq函数 6....处理软中断内核线程 之前我说到不能让CPU长时间来处理中断事务，这样会影响系统的响应时间，严重影响用户和系统之间的交互式体验。...这里说的软中断上下文指的就是系统为每个CPU建立的ksoftirqd进程。 看完这个函数，我不得不佩服这个函数设计的精巧！而我更多的从中体会到其中蕴藏的一种做人的道理。...软中断的内核进程中主要有两个大循环，外层的循环处理有软件中断就处理，没有软件中断就休眠。内层的循环处理软件中断，并每循环一次都试探一次是否过长时间占据了CPU，需要调度释放CPU给其它进程。
问：如何定位是哪个服务进程导致CPU过载，哪个线程导致CPU过载，哪段代码导致CPU过载？...步骤一、找到最耗CPU的进程 工具：top 方法： 执行top -c ，显示进程运行信息列表 键入P (大写p)，进程按照CPU使用率排序 图示： image.png 如上图，最耗CPU的进程PID...为10765 步骤二：找到最耗CPU的线程 工具：top 方法： top -Hp 10765 ，显示一个进程的线程运行信息列表 键入P (大写p)，线程按照CPU使用率排序 图示： image.png...如上图，进程10765内，最耗CPU的线程PID为10804 步骤三：将线程PID转化为16进制 工具：printf 方法：printf “%x” 10804 图示： image.png 如上图，10804...jstack/grep 方法：jstack 10765 | grep ‘0x2a34’ -C5 --color 打印进程堆栈 通过线程id，过滤得到线程堆栈 图示： image.png 如上图，找到了耗CPU
1 简介 最近有几次，linux centos 7 服务停了后，重启，再起一些应用后，查看top后，rsyslogd cpu占用率高问题， 先说我这块怀疑导致的原因吧。...2 现象 阿里云ecs的rsyslogd从平时的1%cpu都用不到暴涨到98.87%, 导致业务进程资源紧张,响应很慢; image.png 3 根本原因 查看rsyslog输出的日志/var/log.../ 路径 描述 /var/log/messages 服务信息日志(记录linux操作系统常见的服务信息和错误信息) /var/log/secure 系统的登陆日志(记录用户和工作组的变化情况,是系统安全日志...同时也可能导致systemd-journald内存占用过高 4 解决 4.1 限制服务内存 限制rsyslog服务 [root@op-node-201 ~]# cat /usr/lib/systemd/...4.2 停掉服务 # 第一步:重启rsyslog 服务,发现 进程cpu 占用率依旧高达99%,采取 第二种方案 [root@hadoop2 ~]# systemctl restart rsyslog
CPU负载过高异常排查实践与总结CPU负载过高异常排查实践与总结 观察各个进程资源使用情况，可以看出进程id为682的进程，有着较高的CPU占比 1.2 定位具体的异常业务 这里咱们可以使用 pwdx...CPU负载过高异常排查实践与总结CPU负载过高异常排查实践与总结 可得出结论：该进程对应的就是数据平台的web服务。...CPU负载过高异常排查实践与总结CPU负载过高异常排查实践与总结 可得出结论：是系统中一个时间工具类方法的执行cpu占比较高，定位到具体方法后，查看代码逻辑是否存在性能问题。...2、根因分析 经过前面的分析与排查，最终定位到一个时间工具类的问题，造成了服务器负载以及cpu使用率的过高。...CPU负载过高异常排查实践与总结CPU负载过高异常排查实践与总结 4、总结 在编码的过程中，除了要实现业务的逻辑，也要注重代码性能的优化。
kworker是3.x内核引入的，kworker 指工作者线程，用来执行工作队列中的work，一般由kthreadd建立，下面为大家分享一下Linux kworker 占用CPU过高情况。...kworker表示进行“工作”（处理系统调用）的Linux内核进程。...在进程列表中可以有多个：kworker/0:1在第一个CPU内核上kworker/1:1是一个，在第二个CPU内核上是一个，依此类推。 为什么kworker占用您的CPU？...10 然后会在当前目录下生成一个perf.data 用以下命令查看 sudo perf report 我们看到arch_cpu_idle占用大量CPU。...于是问了Fedora telegram群里的，翻了下arch/arm64/kernel/process.c 结论居然根本没有其他进程在使用CPU，Linux会自动保存CPU运作。
linux为了实现这个特点，当中断发生的时候，硬中断处理那些短时间就可以完成的工作，而将那些处理事件比较长的工作，放到中断之后来完成，也就是软中断(softirq)来完成。...（3）中断嵌套 Linux下硬中断是可以嵌套的，但是没有优先级的概念，也就是说任何一个新的中断都可以打断正在执行的中断，但同种中断除外。软中断不能嵌套，但相同类型的软中断可以在不同CPU上并行执行。...（4）软中断指令 int是软中断指令。 中断向量表是中断号和中断处理函数地址的对应表。 int n -- 触发软中断n。相应的中断处理函数的地址为：中断向量表地址 + 4 * n。...（5）硬中断和软中断的区别 软中断是执行中断指令产生的，而硬中断是由外设引发的。 硬中断的中断号是由中断控制器提供的，软中断的中断号由指令直接指出，无需使用中断控制器。...但一个软中断不会抢占另一个软中断，唯一可以抢占软中断的是硬中断。
linux为了实现这个特点，当中断发生的时候，硬中断处理那些短时间 就可以完成的工作，而将那些处理事件比较长的工作，放到中断之后来完成，也就是软中断(softirq)来完成。...(3) 中断嵌套 Linux下硬中断是可以嵌套的，但是没有优先级的概念，也就是说任何一个新的中断都可以打断正在执行的中断，但同种中断 除外。...软中断不能嵌套，但相同类型的软中断可以在不同CPU上并行执行。 (4) 软中断指令 int是软中断指令。 中断向量表是中断号和中断处理函数地址的对应表。 int n – 触发软中断n。...硬中断的中断号是由中断控制器提供的，软中断的中断号由指令直接指出，无需使用中断控制器。 硬中断是可屏蔽的，软中断不可屏蔽。...但一个软中断不会抢占另一个软中断，唯一可以抢占软中断的是硬中断。
软中断的引入 软中断的出现和linux系统对中断的划分是分不开的。...linux系统将整个中断处理过程分为了两部分，分别为上半部(Top Half)和下半部(Bottom Half)，之所以要这样分是因为关闭中断的时间不能过长，也就是在关闭中断期间尽可能少干事，否则影响整个系统的性能...所以linux系统将中断处理分为两部分，在上半部全程关闭中断，下半部打开中断。而在上半部主要干一些和硬件有关的操作，速度快，在下部分做一些耗时的操作。这样一来既能保证系统效率又能处理各种中断。...那linux如何判断软中断是否发生呢？...B： 根据注释， 如果当初处于中断上写文中(硬+软+NMI), 直接返回。 如果不是就调用wakeup_softirqd来唤醒本cpu上的内核线程。
经常有朋友问起软中断的问题......话说我干了这么多年，还从未在VxWorks领域见过这个词儿，孤陋寡闻了 上网搜了一下，软中断应该是Linux的softirq吧，其典型应用就是中断的bottom half。...关于中断，这是嵌入式领域的一个重点词汇，每个OS都支持，从名字来看，肯定是跟硬件有关的。但ISR执行时间过长，就会带来很多麻烦，所以在使用时都会有很多限制。...除了这些限制，不同的OS还提出了不同的solution，例如Linux的这个软中断。既然名字里带个"软"，就是用软件(内核线程?)
这对于时间苛刻的应用来说，这是一个很重要的属性，尤其是那些要求中断请求必须在毫秒级别响应的应用。 Linux2.6内核使用两种手段满足这项挑战：软中断和tasklet，还有工作队列。...更重要的是，总是把一个函数绑定到某个CPU上执行是有风险的，这个CPU可能负荷很重而其它的CPU可能比较空闲。 2 软中断 Linux2.6内核中，软中断的数量比较少。...事实上，只使用了6类软中断，如下表所示： 表4-9 Linux2.6中使用的软中断 软中断 优先级 描述 HI_SOFTIRQ 0 处理高优先级的tasklet TIMER_SOFTIRQ 1 定时器中断...Linux软中断处理程序总是从索引0开始执行。 2.1 软中断使用的数据结构 软中断的主要数据结构是softirq_vec数组，包含类型为softirq_action的32个元素。...这在Linux内核中是禁止的，因为其可延时函数的执行都是串行的。所以，在此需要禁止软中断。 清除正在执行的软中断对应掩码位。 执行local_irq_enable()使能中断。
其实，在机器启动的时候，系统就已经识别了所有设备，并且也把相应的中断处理器加载到中断表中。 下面是请求CPU关注的两种方式： 基于中断 基于轮询 所有的linux操作系统都是基于中断驱动的。...而下半部以内核线程的方式执行，并且每个 CPU 都对应一个软中断内核线程，名字为 “ksoftirqd/CPU 编号”，比如说， 0 号 CPU 对应的软中断内核线程的名字就是ksoftirqd/0。...不过要注意的是，软中断不只包括了刚刚所讲的硬件设备中断处理程序的下半部，一些内核自定义的事件也属于软中断，比如内核调度和 RCU 锁（Read-Copy Update 的缩写，RCU 是 Linux 内核中最常用的锁之一...TASKLET 在不同 CPU 上的分布并不均匀。TASKLET 是最常用的软中断实现机制，每个 TASKLET 只运行一次就会结束 ，并且只在调用它的函数所在的 CPU 上运行。...软中断实际上是以内核线程的方式运行的，每个 CPU 都对应一个软中断内核线程，这个软中断内核线程就叫做 ksoftirqd/CPU 编号。那要怎么查看这些线程的运行状况呢？
，但凡是用过linux的都会这几个常用的命令，所以要突出自己的优势可以了解一些更深入的linux命令。...比如问你常用的5个linux命令你可以说top（整机），vmstat（CPU），free（内存），df（硬盘），iostat （磁盘IO），ifstat（网咯IO）等... ?...虽说在一些linux大佬面前这些linux命令不值一提但总比一开始说的那些命令要高级的多吧。 这些命令的具体用法可以参考下这个链接有些不是归纳的很好但是凑合着参考下吧！...token=07193d87b188531f 下面来做个实战的测试，当xian线上遇到CPU占用过高怎么排查，如果是在面试的时候面试官这么问你的话，你回答查看下日志或者根据出错问题查看下百度，那么在面试官那你的印象将不会得到很好的认可...当然一般的代码程序出错我们可以直接用 ps -ef|grep 启动程序名，但是对于CPU占用过高的排查还是需要一定的手段和实战经验的。 每天 进步一点点
一.简介 最近一段时间 某台服务器上的一个应用总是隔一段时间就自己挂掉 用top看了看 从重新部署应用开始没有多长时间CPU占用上升得很快 排查步骤 1.使用top 定位到占用CPU高的进程PID top...2.通过ps aux | grep PID命令 获取线程信息，并找到占用CPU高的线程 ps -mp pid -o THREAD,tid,time | sort -rn 3.将需要的线程ID转换为16...printf "%x\n" tid 4.打印线程的堆栈信息 到了这一步具体看堆栈的日志来定位问题了 jstack pid |grep tid -A 30 二.例子 1.top 可以看出PID 733进程 的占用CPU
简介 最近一段时间 某台服务器上的一个应用总是隔一段时间就自己挂掉 用top看了看 从重新部署应用开始没有多长时间CPU占用上升得很快 排查步骤 # 1.使用top 定位到占用CPU高的进程PID...top # 2.通过ps aux | grep PID命令 获取线程信息，并找到占用CPU高的线程 ps -mp pid -o THREAD,tid,time | sort -rn # 3.将需要的线程...显然是 SmsQueueServiceImpl 中的produceMissSms 和 consumeMissSms 方法有问题 最后注释掉那段循环代码,cpu占用就正常了,也有可能是因为频繁GC导致CPU...占用过高
查看CPU使用 在 Linux 系统下，使用 top 命令查看 CPU 使用情况。...sy(sys)：表示 CPU 在内核态运行的时间百分比（不包括中断），通常内核态 CPU 越低越好，否则表示系统存在某些瓶颈。...hi(hardirq)：表示 CPU 处理硬中断所花费的时间。硬中断是由外设硬件（如键盘控制器、硬件传感器等）发出的，需要有中断控制器参与，特点是快速执行。...si(softirq)：表示 CPU 处理软中断所花费的时间。软中断是由软件程序（如网络收发、定时调度等）发出的中断信号，特点是延迟执行。...st(steal)：表示 CPU 被其他虚拟机占用的时间，仅出现在多虚拟机场景。如果该指标过高，可以检查下宿主机或其他虚拟机是否异常。
硬件中断发生频繁，是件很消耗 CPU 资源的事情，在多核 CPU 条件下如果有办法把大量硬件中断分配给不同的 CPU (core) 处理显然能很好的平衡性能。...现在的服务器上动不动就是多 CPU 多核、多网卡、多硬盘，如果能让网卡中断独占1个 CPU (core)、磁盘 IO 中断独占1个 CPU 的话将会大大减轻单一 CPU 的负担、提高整体处理效率。...在计算机里，中断是一种电信号，由硬件产生，并直接送到中断控制器（如 8259A）上，然后再由中断控制器向 CPU 发送信号，CPU 检测到该信号后，就中断当前的工作转而去处理中断。...光有高级可编程中断控制器的硬件支持还不够，Linux 内核还必须能利用到这些硬件特质，所以只有 kernel 2.4 以后的版本才支持把不同的硬件中断请求（IRQs）分配到特定的 CPU 上，这个绑定技术被称为...更多介绍请参看 Linux 内核源代码自带的文档：linux-2.6.31.8/Documentation/IRQ-affinity.txt 如何使用 先看看系统上的中断是怎么分配在 CPU 上的，很显然
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
云直播
