Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >性能分析(6)- 如何迅速分析出系统 CPU 的瓶颈在哪里

性能分析(6)- 如何迅速分析出系统 CPU 的瓶颈在哪里

作者头像
小菠萝测试笔记
发布于 2020-08-13 03:27:59
发布于 2020-08-13 03:27:59
3.1K0
举报

性能分析小案例系列,可以通过下面链接查看哦

https://www.cnblogs.com/poloyy/category/1814570.html

前言

  • 在做性能测试时,我们会需要对 Linux 系统的性能指标进行分析
  • 这一篇就来讲下 CPU 性能指标的一个整体分析思路流程
  • 总结出一个“又快又准”的瓶颈定位套路,在不同场景下,指标工具怎么选,性能瓶颈怎么找

CPU 性能指标

一共有四个需要掌握了解的性能指标

CPU 使用率

再次总结
  • 最常见的一个性能指标
  • 描述了非空闲时间占总 CPU 时间的百分比
  • 根据 CPU 上运行任务的不同,又被分为:用户 CPU、系统 CPU、等待 I/O CPU、软中断、硬中断
用户 CPU 使用率
  • 表示 CPU 在用户态运行的时间百分比
  • 包括:用户态的 CPU 使用率(user)和低优先级的用户态 CPU 使用率(nice)
  • 用户 CPU 使用率高,说明有应用程序比较繁忙
系统 CPU 使用率
  • 表示 CPU 在内核态运行的时间百分比(不包括中断)
  • 系统 CPU 使用率高,说明内核比较繁忙
等待 I/O 的 CPU 使用率
  • 通常也称为 iowait,表示等待 I/O 的时间百分比
  • iowait 高,通常说明系统与硬件设备的 I/O 交互时间比较长
软中断和硬中断的 CPU 使用率
  • 分别表示内核调用软中断处理程序、硬中断处理程序的时间百分比
  • 它们的使用率高,通常说明系统发生了大量的中断
虚拟化环境
  • 窃取 CPU 使用率(steal):被其他虚拟机占用的 CPU 时间百分比
  • 客户 CPU 使 用率(guest):运行客户虚拟机的 CPU 时间百分比

平均负载

平均活跃进程数

理想情况
  • 平均负载等于逻辑 CPU 个数,这表示每个 CPU 都恰好被充分利用
  • 如果平均负载大于逻辑 CPU 个数,就表示负载比较重了

进程上下文切换

两种类型
  • 自愿上下文切换:无法获取资源而导致
  • 非自愿上下文切换:被系统强制调度而导致
重点知识
  • CPU 上下文切换本身是保证 Linux 正常运行的一项核心功能
  • 过多的上下文切换,会将运行进程的 CPU 时间,消耗在寄存器、内核栈、虚拟内存等数据的保存和恢复上
  • 最终,缩短进程真正运行的时间,成为性能瓶颈

CPU 缓存命中率

为什么会有缓存命中率
  • 由于 CPU 发展的速度远快于内存的发展,CPU 的处理速度就比内存的访问速度快得多
  • 这样,CPU 在访问内存的时候,免不了要等待内存的响应
  • 为了协调这两者巨大的性能差距,CPU 缓存(通常是多级缓存)就出现了
  • 就像上面这张图显示的,CPU 缓存的速度介于 CPU 和内存之间,缓存的是热点的内存数据
  • 根据不断增长的热点数据,这些缓存按照大小不同分为 L1、L2、L3 等三级缓存,其中 L1 和 L2 常用在单核中, L3 则用在多核中
  • 从 L1 到 L3,三级缓存的大小依次增大,相应的,性能依次降低(当然比内存还是好得 多)
  • 而它们的命中率,衡量的是 CPU 缓存的复用情况,命中率越高,则表示性能越好

CPU 性能工具

炒鸡重点

把性能指标和性能工具联系起来,下面个将从两个维度来讲这个点

第一个维度:从 CPU 的性能指标出发

  • 也就是说,当你要查看某个性能指标时,要清楚知道哪些工具可以做到
  • 总结:哪个工具可以查看哪些指标

第二个维度:从工具触发

要明确知道这个工具能提供哪些指标

重点!重点!重点!来了!

如何快速分析 CPU 的性能瓶颈

在实际生产环境中,我们通常都希望尽可能定位系统的瓶颈,然后尽可能优化性能,也就是要又快又准地解决性能问题

认知
  • 虽然 CPU 的性能指标比较多,但要知道,既然都是描述系统的 CPU 性能,它们就不会是完全孤立的,很多指标间都有一定的关联
  • 想弄清楚性能指标的关联性,就要通晓每种性能指标的工作原理
举个栗子
  • 用户 CPU 使用率(us)高,应该去排查进程的用户态而不是内核态,因为用户 CPU 使用率反映的就是用户态的 CPU 使用情况
  • 而内核态的 CPU 使用情况只会反映到系统 CPU 使用率(sy)上
CPU 使用率高的场景,如何进行一系列的性能分析

列出了 top、vmstat 和 pidstat 分别提供的重要的 CPU 指标,并用虚线表示关联关系,对应出了性能分析下一步的方向

下面举些小栗子

栗子一
  1. top 看到用户态 CPU 使用率偏高
  2. 可以根据 pidstat 的输出进一步观察是否是某个进程导致的问题
  3. 找出 CPU 使用率偏高的进程之后就要用进程分析工具来分析进程的行为
  4. 比如使用 strace 分析系统调用情况,perf 分析调用链中各级函数的执行情况
栗子二
  1. top 看到平均负载升高
  2. 通过 vmstat 查看 R 状态和 B 状态的进程数,是否有数量上的异常
  3. 如果不可中断状态的进程数过多,需要做 I/O 的分析,可以通过 dstatsar 工具来分析 I/O
  4. 如果是运行状态的进程数过多,可以通过 pidstat 确认处于运行状态的进程,然后用进程分析工具做进一步分析
栗子三
  1. top 看到软中断 CPU 使用率(si)偏高,进程列表能看到软中断进程 CPU 使用率也偏高
  2. 可以根据读取 查看软中断类型和变化频率

/proc/softirqs

  1. 如果是网络相关软中断导致的问题,可以进一步通过网络分析工具 sartcpdump 来分析
本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2020-08-12 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
​Linux CPU 性能优化指南
本文作者:allenxguo,腾讯 QQ 音乐后台开发工程师 本文主要帮助理解 CPU 相关的性能指标,常见的 CPU 性能问题以及解决方案梳理。 系统平均负载 简介 系统平均负载:是处于可运行或不可中断状态的平均进程数。 可运行进程:使用 CPU 或等待使用 CPU 的进程 不可中断状态进程:正在等待某些 IO 访问,一般是和硬件交互,不可被打断(不可被打断的原因是为了保护系统数据一致,防止数据读取错误) 查看系统平均负载 首先top命令查看进程运行状态,如下: PID USER
腾讯技术工程官方号
2020/08/11
8.7K0
Linux 性能优化的全景指南,可能都在这里了,建议收藏~
性能问题的本质就是系统资源已经到达瓶颈,但请求的处理还不够快,无法支撑更多的请求。性能分析实际上就是找出应用或系统的瓶颈,设法去避免或缓解它们。
用户6543014
2022/03/04
2.7K0
Linux 性能优化的全景指南,可能都在这里了,建议收藏~
Linux性能优化实战 笔记
平均负载是指单位时间内,系统处于可运行状态和不可中断状态的平均进程数,也就是平均活跃进程数,它和 CPU 使用率并没有直接关系。
OwenZhang
2021/12/08
1.8K0
Linux性能优化实战 笔记
2019-09-20
从CPU发明到现在,有非常多种架构,从我们熟悉的X86,ARM,到不太熟悉的MIPS,IA64等
羊羽shine
2019/09/24
6770
2019-09-20
技能篇:linux服务性能问题排查及jvm调优思路
只要业务逻辑代码写正确,处理好业务状态在多线程的并发问题,很少会有调优方面的需求。最多就是在性能监控平台发现某些接口的调用耗时偏高,然后再发现某一SQL或第三方接口执行超时之类的。如果你是负责中间件或IM通讯相关项目开发,或许就需要偏向CPU、磁盘、网络及内存方面的问题排查及调优技能
潜行前行
2022/04/26
8480
技能篇:linux服务性能问题排查及jvm调优思路
Linux应用性能分析及故障排查
CPU使用率:CPU的使用率 平均负载:单位时间内的活跃线程数 用户时间:CPU在用户进程上的实际百分比 系统时间:CPU在内核上花费的实际百分比 空闲时间:系统处于在等待IO操作上的时间总和 等待:CPU花费在等待IO操作上的时间总和 Nice时间:CPU优先执行的时间百分比
lyb-geek
2021/12/04
1.3K0
Linux应用性能分析及故障排查
TSA方法:基于线程时间分布分析性能瓶颈
在分析性能问题时,我们有两种简单而又行之有效的分析方法。第一种是基于资源视角的USE方法,通过一系列的检查清单来帮助发现瓶颈和错误;第二种方法就是本文要介绍的基于线程视角的TSA方法。和USE方法一样,TSA方法提供了分析问题的起点,帮助我们缩小问题的区域。这种方法可以用在所有的操作系统上,因为TSA方法的出发点很明确:线程的时间都花在哪里了?
程栩的性能优化笔记
2023/11/01
4440
TSA方法:基于线程时间分布分析性能瓶颈
某个应用的 CPU 使用率居然达到 100%,我该怎么办?
通过前两节对平均负载和 CPU 上下文切换的学习,我相信你对 CPU 的性能已经有了初步了解。不过我还是想问一下,在学这个专栏前,你最常用什么指标来描述系统的 CPU 性能呢?我想你的答案,可能不是平均负载,也不是 CPU 上下文切换,而是另一个更直观的指标—— CPU 使用率。
米开朗基杨
2019/08/29
2.4K0
某个应用的 CPU 使用率居然达到 100%,我该怎么办?
Linux系统下的性能分析命令
在 Linux 系统下,有许多用于性能分析和调试的命令和工具,可以帮助您识别系统瓶颈、优化性能以及调查问题。本文将介绍在性能分析过程中,可能使用到的一些命令。
xcbeyond
2023/09/06
5180
Linux系统下的性能分析命令
从入门到转型之Linux性能优化实践学习指南
本系列是从入门到转型之Linux性能优化实践学习指南,是博主学习Linux性能优化之路的精华版本,我将分享大量性能优化的思路和方法,并进行相应工具使用介绍和总结。
全栈工程师修炼指南
2022/09/29
6110
从入门到转型之Linux性能优化实践学习指南
服务质量保障之性能监控
伴随着突发流量、系统变更或代码腐化等因素,性能退化随时会发生。如在周年庆大促期间由于访问量暴涨导致请求超时无法下单;应用发布变更后,页面频繁卡顿导致客诉上升;线上系统运行一段时间后,突然发生OOM或连接打满拒绝访问。
测试开发技术
2024/03/11
2690
服务质量保障之性能监控
Linux CPU监控
负载为1表示当前单核CPU全部占用,如果一台机器有3个CPU,每个CPU都是双核的,这是负载最大值为1×2×3=6。如果5分钟以及15分钟的负载指标的大于CPU个数×CPU核数×0.7,并且长时间比较高,说明CPU不够用。
顾翔
2020/06/01
11K0
Linux CPU监控
Java应用之性能测试瓶颈调优
在实际的性能测试中,会遇到各种各样的问题,比如 TPS 压不上去等,导致这种现象的原因有很多,测试人员应配合开发人员进行分析,尽快找出瓶颈所在。
用户4283147
2022/10/27
1.8K0
Java应用之性能测试瓶颈调优
通过vmstat学习CPU和进程性能监控
vmstat是一个很全面的性能分析工具,可以观察到系统的进程状态、虚拟内存使用、磁盘的IO、中断、上下文切换、CPU使用等情况。在操作系统性能分析中,能100%理解vmstat输出的含义并灵活应用,是性能分析必备的基本能力。
刘盼
2020/04/01
1.3K0
性能测试 操作系统性能分析思路总结
先查看系统整体负载(可通过w,uptime,top等命令查看),可以查看15分钟前,5分钟前,1分钟前到现在负载均值。
授客
2019/09/11
1.6K0
25-性能分析命令
memory:「swpd」 显示多少块被换出磁盘,「free」显示剩下的空闲块,「buff」正在被作用缓冲区的块,「cache」正在被用作操作系统的缓存
zx钟
2021/07/06
7450
性能专题:一文搞懂性能测试常见指标
上周,对性能测试系列专题,在公号内发表了第一篇介绍:【性能系列连载一】开篇:性能测试不可不知的“干货”,但反响貌似并不太好,但既然此前已答应了部分读者要连载分享性能这块的知识,含着泪也得继续写。
测试开发技术
2019/11/04
4.1K0
性能专题:一文搞懂性能测试常见指标
深入理解Linux问题分析与性能优化(超详细~)
RED方法:监控服务的请求数(Rate)、错误数(Errors)、响应时间(Duration)。Weave Cloud在监控微服务性能时提出的思路。
嵌入式Linux内核
2022/09/24
4970
深入理解Linux问题分析与性能优化(超详细~)
pidstat-进程性能分析工具
pidstat:是一个常用的进程性能分析工具,用来实时查看进程的 CPU、内存、I/O 以及上下文切换等性能指标。
迅达集团
2019/03/09
4.2K0
Linux性能优化篇-了解CPU上下文切换
所以我们会比较好了解CPU密集型,需要大量计算资源,会非常消耗cpu,I/O密集型需要等待I/O,会有大量的不可中断进程,
早起的鸟儿有虫吃
2019/08/22
5K0
Linux性能优化篇-了解CPU上下文切换
相关推荐
​Linux CPU 性能优化指南
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档