本篇文章着眼于 Linux 页面大小对数据库性能的影响，以及如何优化数据库 Kubernetes 节点。
Linux 内存管理模型非常直接明了，因为 Linux 的这种机制使其具有可移植性并且能够在内存管理单元相差不大的机器下实现 Linux，下面我们就来认识一下 Linux 内存管理是如何实现的。
本文旨在深入探讨Linux操作系统的虚拟内存管理机制。我们将从基本概念开始，逐步深入到内核级别的实现细节。为了达到这个目标，本文将结合理论讨论和实际的代码分析。我们希望通过这种方式，使读者对Linux虚拟内存管理有更深入的理解。
对 Linux 稍有了解的人都知道，Linux 会将物理的随机读取内存（Random Access Memory、RAM）按页分割成 4KB 大小的内存块，而今天要介绍的 Swapping 机制就与内存息息相关，它是操作系统将物理内存页中的内容拷贝到硬盘上交换空间（Swap Space）以释放内存的过程，物理内存和硬盘上的交换分区组成了操作系统上可用的虚拟内存，而这些交换空间都是系统管理员预先配置好的[^1]。
vmstat是Virtual Meomory Statistics（虚拟内存统计）的缩写，可对操作系统的虚拟内存、进程、CPU活动进行监控。是对系统的整体情况进行统计，不足之处是无法对某个进程进行深入分析。
本文介绍linux内存机制、虚拟内存swap、buffer/cache释放等原理及实操。
内存是计算机的重要资源，虽然今天大多数的服务对内存的需求都没有那么高，但是数据库以及 Hadoop 全家桶这些服务却是消耗内存的大户，它们在生产环境动辄占用 GB 和 TB 量级的内存来提升计算的速度，Linux 操作系统为了更好、更快地管理这些内存并降低开销引入了很多策略，我们今天要介绍的是 HugePages，也就是大页[^1]。
我们知道，直接从物理内存读写数据要比从硬盘读写数据要快的多，因此，我们希望所有数据的读取和写入都在内存完成，而内存是有限的，这样就引出了物理内存与虚拟内存的概念。 物理内存就是系统硬件提供的内存大小，是真正的内存，相对于物理内存，在linux下还有一个虚拟内存的概念，虚拟内存就是为了满足物理内存的不足而提出的策略，它是利用磁盘空间虚拟出的一块逻辑内存，用作虚拟内存的磁盘空间被称为交换空间（Swap Space）。 作为物理内存的扩展，linux会在物理内存不足时，使用交换分区的虚拟内存，更详细的说，就是内核会将暂时不用的内存块信息写到交换空间，这样以来，物理内存得到了释放，这块内存就可以用于其它目的，当需要用到原始的内容时，这些信息会被重新从交换空间读入物理内存。 Linux的内存管理采取的是分页存取机制，为了保证物理内存能得到充分的利用，内核会在适当的时候将物理内存中不经常使用的数据块自动交换到虚拟内存中，而将经常使用的信息保留到物理内存。
我们知道，直接从物理内存读写数据要比从硬盘读写数据要快的多，因此，我们希望所有数据的读取和写入都在内存完成，而内存是有限的，这样就引出了物理内存与虚拟内存的概念。
（外部）内存碎片是一个历史悠久的 Linux 内核编程问题，随着系统的运行，页面被分配给各种任务，随着时间的推移内存会逐步碎片化，最终正常运行时间较长的繁忙系统可能只有很少的物理页面是连续的。由于 Linux 内核支持虚拟内存管理，物理内存碎片通常不是问题，因为在页表的帮助下，物理上分散的内存在虚拟地址空间仍然是连续的 （除非使用大页），但对于需要从内核线性映射区分配连续物理内存的需求来说就会变的非常困难，比如通过块分配器分配结构体对象 （在内核态很常见且频繁的操作），或对不支持 scatter/gather 模式的 DMA 缓冲器的操作等，会引起频繁的直接内存回收/规整，导致系统性能出现较大的波动，或分配失败 （在慢速内存分配路径会根据页面分配标志位执行不同的操作）。
内存管理是Linux系统重要的组成部分。为了解决内存紧缺的问题，Linux引入了虚拟内存的概念。为了解决快速存取，引入了缓存机制、交换机制等。
作者简介：许庆伟，Linux Kernel Security Researcher & Performance Developer 众所周知，Linux内核和CPU处理器负责将虚拟内存映射到物理内存。为了提高效率，在一个称为页的内存组中创建一个内存映射，其中每个页的大小根据处理器的实际情况而来。尽管大多数处理器也支持更大的页，但默认通常是4 KB,。内核可以从页空闲列表中为物理内存页的申请提供分配，并且为了提高效率，为每个DRAM组和CPU均设计了维护这些请求的方案。内核程序可以通过分配器(比如slab分配
摘 要：本文通过解剖Linux操作系统的虚拟存储管理机制，说明了Linux虚拟存储的特点、虚拟存储器的实现方法，并基于Linux Kernel Source 1.0，详细分析有关虚拟存诸管理的主要数据结构之间的关系。
用过不少种类的数据库的人会遇到一个问题, transparent Hugepages 在不少的数据库中都被提到 disabled, turn off . Why should we turn off
上一节内容的学习我们知道了CPU是如何访问内存的，CPU拿到内存后就可以向其它人（kernel的其它模块、内核线程、用户空间进程、等等）提供服务，主要包括： 以虚拟地址（VA）的形式，为应用程序提供远大于物理内存的虚拟地址空间（Virtual Address Space） 每个进程都有独立的虚拟地址空间，不会相互影响，进而可提供非常好的内存保护（memory protection） 提供内存映射（Memory Mapping）机制，以便把物理内存、I/O空间、Kernel Image、文件等对象映射到相应进
上一节内容的学习我们知道了CPU是如何访问内存的，CPU拿到内存后就可以向其它人（kernel的其它模块、内核线程、用户空间进程、等等）提供服务，主要包括：
内核和处理器负责将虚拟内存映射到物理内存。为了提高效率，会在称为页面的内存组中创建内存映射，其中每个页面的大小是处理器的详细信息。尽管大多数处理器也支持更大的容量，但通常有4 KB，Linux称其为 hugepage大页面。内核可以从其自己的空闲列表中为物理内存页面请求提供服务，内核为每个DRAM组和CPU维护这些请求以提高效率。内核自己的软件也通常通过内核分配器(例如slab分配器)从这些空闲列表中消耗内存。
程序到运行主要经过程序（外存）编译，链接，装入(内存)。《程序如何运行：编译、链接、装》:
简介：作为一个系统管理程序（hypervisor），Linux® 有几个创新，2.6.32 内核中一个有趣的变化是 KSM(Kernel Samepage Merging) 允许这个系统管理程序通过合并内存页面来增加并发虚拟机的数量。本文探索 KSM 背后的理念（比如存储去耦合）、KSM 的实现、以及如何管理 KSM。
之前文章《Linux服务器性能评估与优化(一)》太长，阅读不方便，因此拆分成系列博文：
本文涉及的硬件平台是X86，如果是其他平台的话，如ARM，是会使用到MMU，但是没有使用到分段机制； 最近在学习Linux内核，读到《深入理解Linux内核》的内存寻址一章。原本以为自己对分段分页机制已经理解了，结果发现其实是一知半解。于是，查找了很多资料，最终理顺了内存寻址的知识。现在把我的理解记录下来，希望对内核学习者有一定帮助，也希望大家指出错误之处。
C语言使用 malloc函数动态在堆上分配内存。malloc根据字节数的参数。如果无法分配内存，该函数将返回指向已分配内存的指针或 NULL 指针。
（本文发表于1月份）最近Windows和Linux都发送了重大安全更新，为防范这个尚未完全公开的问题，在最坏的情况下，它可能会导致性能下降多达一半。
指分配给用户的内存空间中未被使用的部分。例如进程需要使用3K bytes物理内存，于是向系统申请了大小等于3Kbytes的内存，但是由于Linux内核伙伴系统算法最小颗粒是4K bytes，所以分配的是4Kbytes内存，那么其中1K bytes未被使用的内存就是内存内碎片。
原文链接:https://rumenz.com/rumenbiji/linux-vmstat.html
原文链接:https://rumenz.com/rumenbiji/linux-vmstat.html 微信公众号:入门小站
UNIX 是一个交互式系统，用于同时处理多进程和多用户同时在线。为什么要说 UNIX，那是因为 Linux 是由 UNIX 发展而来的，UNIX 是由程序员设计，它的主要服务对象也是程序员。Linux 继承了 UNIX 的设计目标。从智能手机到汽车，超级计算机和家用电器，从家用台式机到企业服务器，Linux 操作系统无处不在。
常见的内存分配函数有malloc，mmap等，但大家有没有想过，这些函数在内核中是怎么实现的？换句话说，Linux内核的内存管理是怎么实现的？
缓冲区是所有 I/O 的基础，I/O 讲的无非就是把数据移进或移出缓冲区；进程执行 I/O
前言： procrank是一个统计内存使用的神器，包括VSS，PSS，PSS和USS的详细参数。作为一个内存使用的分析工具，简直厉害的不要不要的。 作者尝试过几个Linux发行版，都没有把procrank作为可以安装的包。这也不奇怪，作者接触这个命令的时候，也是在Android中使用到的。尽管后来不从事嵌入式开发了，每当遇到类似的问题时，都会情不自禁的想到这个神奇的工具。在Iaas平台中，统计KSM也是利器。 源代码： 如上面所说，代码选自Android的源代码。为了使用方便，作者在github上做了一份拷
操作系统将内存按照页的进行管理，在需要的时候才把进程相应的部分调入内存。当产生缺页中断时，需要选择一个页面写入。如果要换出的页面在内存中被修改过，变成了“脏”页面，那就需要先写会到磁盘。页面置换算法，就是要选出最合适的一个页面，使得置换的效率最高。页面置换算法有很多，简单介绍几个，重点介绍比较重要的LRU及其实现算法。
我们很高兴地宣布面向 .NET Core 的 App Services Linux 诊断工具正式发布。借助此功能，我们现在为收集可帮助您调试应用程序代码问题的深度诊断数据提供内置支持。这些数据包括内存转储和分析器跟踪。这些工具使开发人员能够诊断 Linux 上的各种 .NET 代码场景，包括：
作者：Cheetah老师一直从业于半导体行业，他曾为U-boot社区和Linux内核社区提交过若干补丁。目前主要从事Linux相关系统软件开发工作，负责Soc芯片BringUp及系统软件开发，喜欢阅读内核源代码，在不断的学习和工作中深入理解内存管理，进程调度，文件系统，设备驱动等内核子系统。
案发现场的日志： 缓存集群redis重启错误报错： 29808:M 07 Jun 09:46:32.209 # WARNING: The TCP backlog setting of 511 cannot be enforced because /proc/sys/net/core/somaxconn is set to the lower value of 128. 29808:M 07 Jun 09:46:32.209 # Server started, Redis version 3.0.4 2
Linux下的vmstat（英文全称：Virtual Meomory Statistics），虚拟内存统计的缩写，可对操作系统的虚拟内存、进程、CPU活动、I/O等系统整体运行状态进行监控。
Linux的内存管理可谓是学好Linux的必经之路，也是Linux的关键知识点，有人说打通了内存管理的知识，也就打通了Linux的任督二脉，这一点不夸张。有人问网上有很多Linux内存管理的内容，为什么还要看你这一篇，这正是我写此文的原因，网上碎片化的相关知识点大都是东拼西凑，先不说正确性与否，就连基本的逻辑都没有搞清楚，我可以负责任的说Linux内存管理只需要看此文一篇就可以让你入Linux内核的大门，省去你东找西找的时间，让你形成内存管理知识的闭环。 文章比较长，做好准备，深呼吸，让我们一起打开Lin
KVM简介 KVM（Kernel-based Virtual Machine，基于内核的虚拟机）是一种内建于Linux中的开源虚拟机啊技术。具体而言，KVM可帮助用户将Linux转变成虚拟机监控程序，使主机计算机能够运行多个隔离的虚拟环境，即虚拟客户机或虚拟机（VM）。 KVM是Linux的一部分，Linux2.6.20或者更新版本包括KVM。KVM于2006年首次公布，并在一年后合并到主流Linux内核版本中。由于KVM属于现有的Linux代码，因此它能够立即享受每一项新的Linux功能、修复和发展，无需进行额外工程。
Linux的内存管理可谓是学好Linux的必经之路，也是Linux的关键知识点，有人说打通了内存管理的知识，也就打通了Linux的任督二脉，这一点不夸张。有人问网上有很多Linux内存管理的内容，为什么还要看你这一篇，这正是我写此文的原因，网上碎片化的相关知识点大都是东拼西凑，先不说正确性与否，就连基本的逻辑都没有搞清楚，我可以负责任的说Linux内存管理只需要看此文一篇就可以让你入Linux内核的大门，省去你东找西找的时间，让你形成内存管理知识的闭环。
现在你可能还觉得node、zone、伙伴系统、slab这些东东还有那么一点点陌生。别怕，接下来我们结合动手观察，把它们逐个来展开细说。（下面的讨论都基于Linux 3.10.0版本）
hi，大家好，今天分享一篇内存性能优化的文章，文章用了大量精美的图深入浅出地分析了Linux内核slab性能优化的核心思想，slab是Linux内核小对象内存分配最重要的算法，文章分析了内存分配的各种性能问题（在不同的场景下面），并给出了这些问题的优化方案，这个对我们实现高性能内存池算法，或以后遇到内存性能问题的时候，有一定的启发，值得我们学习。
随着计算需求规模的不断增大，应用程序对内存的需求也越来越大。为了实现虚拟内存管理机制，操作系统对内存实行分页管理。自内存“分页机制”提出之始，内存页面的默认大小便被设置为 4096 字节（4KB），虽然原则上内存页面大小是可配置的，但绝大多数的操作系统实现中仍然采用默认的 4KB 页面。 4KB 大小的页面在“分页机制”提出的时候是合理的，因为当时的内存大小不过几十兆字节，然而当物理内存容量增长到几 G 甚至几十 G 的时候，操作系统仍然以 4KB 大小为页面的基本单位，是否依然合理呢？
传统的存储设备例如HDD，SSD，nvme，SAN LUNS等以blocks为单位提供存储功能。Block以字节为单位的可寻址存储单元。传统的硬盘的block大小是512字节。Newer设备通常是4K或者8K，但也可以选择逻辑/模拟的512字节的block。
我们知道使用Linux交换空间而不是 RAM（内存）会严重降低性能。那么，有人可能会问，既然我有足够多的可用内存，删除交换空间不是更好吗？简短的回答是不会。启用交换空间会带来性能优势，即使你有足够多的内存。 即使安装了足够多的服务器内存,你也会经常发现在长时间正常运行后会使用交换空间。请参阅以下来自具有大约一个月正常运行时间的实时聊天服务器的示例： total used free shared buff/cache available
在上一节, 我们介绍了Linux内核怎么管理系统中的物理内存. 但有时候内核需要分配一些物理内存地址也连续的内存页, 所以Linux使用了 伙伴系统分配算法 来管理系统中的物理内存页.
目前ZGC不会将未使用的内存归还给操作系统，即使该内存已经很长时间没有使用了。这种行为并不适合所有类型的应用程序和环境，特别是那些需要考虑内存占用的应用程序和环境。例如：
大家好，我是 Peter，昨天群里有小伙伴咨询page cache的问题，看到网上有篇不错的文章，分享给大家。如果大家有想看的内容，欢迎给我留言。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
