前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >linux下的缓存机制及清理buffer/cache/swap的方法梳理

linux下的缓存机制及清理buffer/cache/swap的方法梳理

作者头像
洗尽了浮华
发布于 2018-01-23 02:17:25
发布于 2018-01-23 02:17:25
5.8K00
代码可运行
举报
文章被收录于专栏:散尽浮华散尽浮华
运行总次数:0
代码可运行

1)缓存机制介绍 在Linux系统中,为了提高文件系统性能,内核利用一部分物理内存分配出缓冲区,用于缓存系统操作和数据文件,当内核收到读写的请求时,内核先去缓存区找是否有请求的数据,有就直接返回,如果没有则通过驱动程序直接操作磁盘。 缓存机制优点:减少系统调用次数,降低CPU上下文切换和磁盘访问频率。 CPU上下文切换:CPU给每个进程一定的服务时间,当时间片用完后,内核从正在运行的进程中收回处理器,同时把进程当前运行状态保存下来,然后加载下一个任务,这个过程叫做上下文切换。实质上就是被终止运行进程与待运行进程的进程切换。

2)查看缓存区及内存使用情况

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
[root@localhost ~]# free -m
             total       used       free     shared    buffers     cached
Mem:          7866       7725        141         19         74       6897
-/+ buffers/cache:        752       7113
Swap:        16382         32      16350

从上面的命令结果显示中可以看出:内存总共8G,已使用7725M,剩余141M,不少的人都是这么看的。 但其实这样并不能作为实际的使用率。因为有了缓存机制,具体算法如下: 空闲内存=free(141)+buffers(74)+cached(6897) 已用内存=total(7866)-空闲内存 由此算出空闲内存是7112M,已用内存754M,这才是真正的使用率,也可参考-/+ buffers/cache这行信息也是内存正确使用率。

3)缓存区分buffers和cached区别 内核在保证系统能正常使用物理内存和数据量读写情况下来分配缓冲区大小。 buffers用来缓存metadata及pages,可以理解为系统缓存,例如,vi打开一个文件。 cached是用来给文件做缓存,可以理解为数据块缓存,例如,dd if=/dev/zero of=/tmp/test count=1 bs=1G 测试写入一个文件,就会被缓存到缓冲区中,当下一次再执行这个测试命令时,写入速度会明显很快。

4)Swap用途 Swap意思是交换分区,通常我们说的虚拟内存,是从硬盘中划分出的一个分区。当物理内存不够用的时候,内核就会释放缓存区(buffers/cache)里一些长时间不用的程序,然后将这些程序临时放到Swap中,也就是说如果物理内存和缓存区内存不够用的时候,才会用到Swap。 swap清理: swapoff -a && swapon -a 注意:这样清理有个前提条件,空闲的内存必须比已经使用的swap空间大

5)释放缓存区内存的方法 a)清理pagecache(页面缓存)

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
# echo 1 > /proc/sys/vm/drop_caches     或者 # sysctl -w vm.drop_caches=1

  b)清理dentries(目录缓存)和inodes

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
# echo 2 > /proc/sys/vm/drop_caches     或者 # sysctl -w vm.drop_caches=2

c)清理pagecache、dentries和inodes

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
# echo 3 > /proc/sys/vm/drop_caches     或者 # sysctl -w vm.drop_caches=3

  上面三种方式都是临时释放缓存的方法,要想永久释放缓存,需要在/etc/sysctl.conf文件中配置:vm.drop_caches=1/2/3,然后sysctl -p生效即可!

    另外,可以使用sync命令来清理文件系统缓存,还会清理僵尸(zombie)对象和它们占用的内存

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
# sync

--------------------友情提示一下---------------------- 上面操作在大多数情况下都不会对系统造成伤害,只会有助于释放不用的内存。 但是如果在执行这些操作时正在写数据,那么实际上在数据到达磁盘之前就将它从文件缓存中清除掉了,这可能会造成很不好的影响。那么如果避免这种事情发生呢? 因此,这里不得不提一下/proc/sys/vm/vfs_cache_pressure这个文件,告诉内核,当清理inoe/dentry缓存时应该用什么样的优先级。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
vfs_cache_pressure=100    这个是默认值,内核会尝试重新声明dentries和inodes,并采用一种相对于页面缓存和交换缓存比较”合理”的比例。
减少vfs_cache_pressure的值,会导致内核倾向于保留dentry和inode缓存。
增加vfs_cache_pressure的值,(即超过100时),则会导致内核倾向于重新声明dentries和inodes

总之,vfs_cache_pressure的值:
小于100的值不会导致缓存的大量减少
超过100的值则会告诉内核你希望以高优先级来清理缓存。

其实无论vfs_cache_pressure的值采用什么值,内核清理缓存的速度都是比较低的。
如果将此值设置为10000,系统将会将缓存减少到一个合理的水平。
本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2016-10-24 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
为什么手工drop_caches之后cache值并未减少?
在Linux系统上查看内存使用状况最常用的命令是"free",其中buffers和cache通常被认为是可以回收的:
刘盼
2019/05/08
1.9K0
为什么手工drop_caches之后cache值并未减少?
Linux 内存使用过高排查
Linux释放内存的命令: sync echo 1 > /proc/sys/vm/drop_caches
用户5760343
2019/10/24
9.8K0
Linux 中关于缓存释放的详解与配置
在Linux系统下,我们一般不需要去释放内存,因为系统已经将内存管理的很好。但是凡事也有例外,有的时候内存会被缓存占用掉,导致系统使用SWAP空间影响性能,例如当你在Linux下频繁存取文件后,物理内存会很快被用光,当程序结束后,内存不会被正常释放,而是一直作为caching。,此时就需要执行释放内存(清理缓存)的操作了。
跟着飞哥学编程
2023/03/23
3.5K0
Linux内存分析与清理
可以看出buff/cache占用的内存份额很大,有时候程序运行结束后,大量内存仍位于buff/cache中,有时运行程序会导致内存不足,因此需要将这部分内存释放出来。
Tyan
2019/05/25
9.8K1
linux中为什么你应该添加交换空间swap
我们知道使用Linux交换空间而不是 RAM(内存)会严重降低性能。那么,有人可能会问,既然我有足够多的可用内存,删除交换空间不是更好吗?简短的回答是不会。启用交换空间会带来性能优势,即使你有足够多的内存。 即使安装了足够多的服务器内存,你也会经常发现在长时间正常运行后会使用交换空间。请参阅以下来自具有大约一个月正常运行时间的实时聊天服务器的示例: total used free shared buff/cache available
入门笔记
2022/06/02
2K0
linux中为什么你应该添加交换空间swap
Linux内存(手动释放cache)
项目的扩容申请了一台机器,到手之后看一下机器的指标,看到内存使用情况是这样的。 1、查看内存 free $ free -h total used free shared buffers cached Mem: 125G 89G 36G 92K 212M 74G -/+ buffers/cache: 14G 111G Swap
用户1225216
2018/03/05
11.2K0
分享Linux内存占用几个案例
最近一台 CentOS 服务器,发现内存无端损失了许多,free 和 ps 统计的结果相差十几个G,非常奇怪,后来Google了许久才搞明白。
YP小站
2020/09/22
3.9K0
Linux-手动释放linux内存cache
当在Linux下频繁存取文件后,物理内存会很快被用光,当程序结束后,内存不会被正常释放,而是一直作为caching。
小小工匠
2021/08/16
6.3K0
内存中的Buffer和Cache
在正式讲解两个概念前,你可以先想想,你有没有什么途径来进一步了解它们?除了中文翻译直接得到概念,别忘了,Buffer 和 Cache 还是我们用 free 获得的指标。
HaydenGuo
2019/12/13
1.7K0
内存中的Buffer和Cache
记一次内存占用问题的调查过程
马哥linux运维 | 最专业的linux培训机构 ---- 最近在维护一台CentOS服务器的时候,发现内存无端"损失"了许多,free和ps统计的结果相差十几个G,搞的我一度又以为遇到灵异事件了,后来Google了许久才搞明白,特此记录一下,以供日后查询。 虽然天天都在用Linux系统办公,其实对它的了解也不过尔尔。毕业几年才迈入"知道自己不知道"的境界,我觉得自己丝毫没有愧对万年吊车尾这个称号 :( 问题描述和初步调查 同事说有一台服务器的内存用光了,我连上去用free看了下,确实有点怪。 $ fr
小小科
2018/05/02
2.9K0
记一次内存占用问题的调查过程
Linux内存机制以及手动释放swap和内存
我们知道,直接从物理内存读写数据要比从硬盘读写数据要快的多,因此,我们希望所有数据的读取和写入都在内存完成,而内存是有限的,这样就引出了物理内存与虚拟内存的概念。 物理内存就是系统硬件提供的内存大小,是真正的内存,相对于物理内存,在linux下还有一个虚拟内存的概念,虚拟内存就是为了满足物理内存的不足而提出的策略,它是利用磁盘空间虚拟出的一块逻辑内存,用作虚拟内存的磁盘空间被称为交换空间(Swap Space)。 作为物理内存的扩展,linux会在物理内存不足时,使用交换分区的虚拟内存,更详细的说,就是内核会将暂时不用的内存块信息写到交换空间,这样以来,物理内存得到了释放,这块内存就可以用于其它目的,当需要用到原始的内容时,这些信息会被重新从交换空间读入物理内存。 Linux的内存管理采取的是分页存取机制,为了保证物理内存能得到充分的利用,内核会在适当的时候将物理内存中不经常使用的数据块自动交换到虚拟内存中,而将经常使用的信息保留到物理内存。
飞天小子
2018/08/31
8.6K0
Linux内存机制以及手动释放swap和内存
How to drop kernel caches
释放 reclaimable slab ,包括dentries and inodes cache
用户9732312
2022/05/13
1.2K0
How to drop kernel caches
Linux 如何手动释放Swap、Buffer和Cache
本文介绍linux内存机制、虚拟内存swap、buffer/cache释放等原理及实操。
民工哥
2020/09/15
9.5K0
Linux 如何手动释放Swap、Buffer和Cache
一文解释Linux 的内存、Swap、Cache、Buffer
设计的目的就是当上面提到的+buffers/cache表示的可用内存都已使用完,新的读写请求过来后,会把内存中的部分数据写入磁盘,从而把磁盘的部分空间当做虚拟内存来使用。
星哥玩云
2022/08/19
2.3K0
一文解释Linux 的内存、Swap、Cache、Buffer
聊聊linux的文件缓存
linux使用page cache来缓存最近读取的文件,也有目录结构(dcache: Directory Entry Cache)缓存及inode缓存,它们都使用了LRU算法来管理这些page及dentries cache
code4it
2024/04/17
4180
Linux 手工释放Linux Cache Memory
为了加速操作和减少磁盘I/O,内核通常会尽可能多地缓存内存,这部分内存就是Cache Memory(缓存内存)。根据设计,包含缓存数据的页面可以按需重新用于其他用途(例如,应用程序)。
授客
2022/05/06
3.7K0
关于 Linux中缓存清理的一些笔记
归根结底,长得好,无论男女,怎么都是对的,长得不好看,大概就是万般皆罪。——烽火戏诸侯《剑来》
山河已无恙
2023/03/02
1.2K0
Linux-Memory小记
以前我对这块认识很模糊,而且还有错误的认识;今天由我同事提醒,所以我决定来好好的缕缕这块的关系。
全栈程序员站长
2022/07/19
5710
linux下清理系统缓存并释放内存
原文链接:https://rumenz.com/rumenbiji/linux_drop_caches.html
入门笔记
2021/11/15
10K0
Linux命令(37)——free命令
free命令用于显示系统内存使用情况,包括物理内存(Physical Memory)、虚拟内存(Swap Memory)、共享内存(Shared Memory)以及内核使用的缓冲(Buffers)与缓存(Cached)大小。在Linux系统监控的工具中,free命令是最经常使用的命令之一。
恋喵大鲤鱼
2018/08/03
1.9K0
相关推荐
为什么手工drop_caches之后cache值并未减少?
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档