文章的起源是一位网友的评论，问的问题比较犀利且分散。借着这个机会研究下这些问题，分别作答一下。
对于innoDB存储引擎来说，数据是存储在磁盘上，而执行引擎想要操作数据，必须先将磁盘的数据加载到内存中才能操作。当数据从磁盘中取出后，缓存内存中，下次查询同样的数据的时候，直接从内存中读取，这样大大提高了查询性能。
我们聊到了Buffer Pool，很多朋友估计还是不是很了解，本文咱们就来聊聊。
前面两讲我们介绍了B-/+树的特性对比，数据库系统普遍采用B-/+树作为索引结构。
在对数据库执行增删改操作的时候，实际上主要都是针对内存里的Buffer Pool中的数据进行的，也
本文主要基于MySQL 5.6以后版本编写，多数知识来着书籍《MySQL技术内幕++InnoDB存储引擎》，今年的多数学习知识只写在笔记里，较为零散，最近稍有时间整理出来，分享进步。
前言 本文主要基于MySQL 5.6以后版本编写，多数知识来着书籍《MySQL技术内幕++InnoDB存储引擎》，本文章仅记录个人认为比较重要的部分，有兴趣的可以花点时间读原书。
常见的服务器一般都是Linux操作系统，Linux文件系统页（OS Page）的大小默认是4KB。而MySQL的页（Page）大小默认是16KB。可以使用如下命令查看MySQL的Page大小：
这一节我们来继续讲述关于缓冲池的内容，以及关于数据页和表空间的内容，当然内容页比较基础和简单，理解相关概念即可。
不同版本的操作系统的 buffer_head 代表的大小可能不一样，但是都是内存和硬盘交换数据的基本单元。
上篇文章说mysql5.6之后新增了系统变量optimizer_tance可以看到他的优化过程。
Buffer Pool 是什么？从字面上看是缓存池的意思，没错，它其实也就是缓存池的意思。它是 MySQL 当中至关重要的一个组件，可以这么说，MySQL的所有的增删改的操作都是在 Buffer Pool 中执行的。 但是数据不是在磁盘中的吗？怎么会和缓存池又有什么关系呢？那是因为如果 MySQL的操作都在磁盘中进行，那很显然效率是很低的，效率为什么低？因为数据库要从磁盘中拿数据啊，那肯定就需要IO啊，并且数据库并不知道它将要查找的数据是磁盘的哪个位置，所以这就需要进行随机IO，那这个性能简直就别玩了。所以 MySQL对数据的操作都是在内存中进行的，也就是在 Buffer Pool 这个内存组件中。
由上图可以看出，tablespace由segment组成，segment由extend组成，extend由page组成，page由row组成 在MySQL中默认会有一个共享表空间ibdata1，如果设置了innodb_file_per_table=on时，每张表内的数据放在各自的tablespace中，私有tablespace仅包括数据，索引，插入缓冲Bitmap页，而其他的例如回滚信息，插入缓冲索引页，系统事务信息，二次写缓冲等都还是放在共享表空间
虽然说 MySQL 的数据是存储在磁盘里的，但是也不能每次都从磁盘里面读取数据，这样性能是极差的。
目前大部分数据库系统及文件系统都采用BTree或其变种B+Tree作为索引结构，mysql 快与慢与索引结构有较大关系。
在数据库系统的世界中，保障数据的完整性和稳定性是至关重要的任务。为了实现这一目标，MySQL内部使用了许多精巧而高效的机制。
上篇文章《InnoDB在SQL查询中的关键功能和优化策略》对InnoDB的查询操作和优化事项进行了说明。但是，MySQL作为一个存储数据的产品，怎么确保数据的持久性和不丢失才是最重要的，感兴趣的可以跟随本文一探究竟。
「上述结构图中展示了Buffer Pool作为InnoDB内存结构的四大组件之一，不属于MySQL的Server层，是InnoDB存储引擎层的缓冲池」。因此这个跟MySQL8.0删掉的【查询缓存】功能是不一样的。
前几篇对MySQL的知识介绍，让我们知道MySQL基本单位是数据页，默认情况下每个数据页的大小是16kb。数据页被读取到内存（Buffer Pool）中后被称为缓存页,，当对Buffer Pool中的数据页做了更新后，此时的数据页叫做：脏页，脏页最终是要刷入磁盘的，那么问题来了。
上一次我们讲过Insert Buffer 是用来提高存储引擎性能上的提升，Double Write 就是为了在数据库崩溃恢复时保证数据不丢失的一个重要特性，保证了数据的可靠性。
是MYSQL数据库中的一个重要的内存组件，介于外部系统和存储引擎之间的一个缓存区，针数据库的增删改查这些操作都是针对这个内存数据结构中的缓存数据执行的,在操作数据之前，都会将数据从磁盘加载到中，操作完成之后异步刷盘、写undo log、binlog、redolog等一些列操作，避免每次访问都进行磁盘IO影响性能。
Buffer Pool 是什么？从字面上看是缓存池的意思，没错，它其实也就是缓存池的意思。它是 MySQL 当中至关重要的一个组件，可以这么说，MySQL的所有的增删改的操作都是在 Buffer Pool 中执行的。
虽然可能大部分文章都有介绍过，但为了文章的完整性，我们还是从 redo log 和 binlog 的区别聊起。
Doublewrite Buffer是MySQL数据库中InnoDB存储引擎的一种机制，用于解决部分写失效的问题，提高数据完整性和可靠性。Doublewrite Buffer是内存+磁盘的结构，包括内存结构和磁盘结构两个部分。
B-Tree 的节点是一个二元数组 [key,data]，key 是记录的键，data 是键对应的数据，B-Tree中的每个节点根据实际情况可以包含大量的关键字信息和分支，每个节点的每个 key 左右各有一个指针，非叶子节点的指针分别指向下一层的节点，叶子节点的指针为 null，如下图：
对于使用InnoDB作为存储引擎的表来说，不管是用于存储用户数据的索引（包括聚集索引和非聚集索引），还是各种系统数据，都是以页的形式存放在磁盘上的。而CPU与内存的交互远远快于与磁盘的交互，所以InnoDB存储引擎在处理客户端的请求时，如果需要访问某个页的数据，就会把完整的页中的数据全部加载到内存中。也就是说，即使我们只需要访问一个页的一条记录，也需要先把整个页的数据加载到内存中。
InnoDB数据存储的研究中，我提到了MySQL的Bug #67963，题目是“InnoDB每16384页中浪费62页”。我说: InnoDB偶尔需要分配一些内部记账页面;每256mib数据对应2个页。为此，它分配一个区段(64个页面)，分配所需的两个页面，然后将剩余的区段(62个空闲页面)添加到一个名为FREE_FRAG的区段列表中，该区段用于单页分配。几乎没有从该列表中分配页面，所以这些页面被浪费了。 这是相当微妙的，在任何大型InnoDB表中只浪费0.37%的磁盘空间，但尽管如此，这还是很有趣的，而且很容易修复。 浪费0.37%的磁盘空间是不幸的，但不是一个大问题……
系统从磁盘读取数据到内存时是以磁盘块（block）为基本单位的，位于同一个磁盘块中的数据会被一次性读取出来，而不是需要什么取什么。
在操作系统中,我们执行一个指令去磁盘取数据,那么他会从磁盘取出4KB数据,这个4KB就是一个局部单位,而这4KB数据就是你的指令中取出的数据周围的数据,因为操作系统认为你下一次的数据会从这条数据的周围中取。每次从磁盘读取数据在这里称为一次磁盘IO。那么在Mysql的操作当中,也有这么一个原理。
今天想和大家聊一聊 MySQL 中的 redo log，其实最早我是想聊两阶段提交的，后来想想可能有小伙伴还不了解 binlog，所以就先整了一篇 binlog： 手把手教你玩 MySQL 删库不跑路，直接把 MySQL 的 binlog 玩溜！ MySQL删库不跑路（视频版） binlog 大家懂了之后，接下来还差个 redo log，redo log 大家也懂了，那么再讲两阶段提交相信小伙伴们就很容易懂了，咱们一步一步来。 1. 谁的 redo log 学习 redo log，我觉得首先要搞明白一个问
之前的8月15号的文章中，对于Innodb的表空间做了一些介绍，当时重点介绍了表空间中最主要的两种类型：独立表空间和系统表空间。今天我们展开说说独立表空间的内容。
高性能事务系统应用程序通常在提供活动跟踪的历史记录表；同时，事务系统生成$日志记录，用于系统恢复。这两种生成的信息都可以受益于有效的索引。众所周知的设置中的一个例子是TPC-a基准应用程序，该应用程序经过修改以支持对特定账户的账户活动历史记录的有效查询。这需要在快速增长的历史记录表上按帐户id进行索引。不幸的是，基于磁盘的标准索引结构（如B树）将有效地使事务的输入/输出成本翻倍，以实时维护此类索引，从而使系统总成本增加50%。显然，需要一种以低成本维护实时索引的方法。日志结构合并树（LSM树）是一种基于磁盘的数据结构，旨在为长时间内经历高记录插入（和删除）率的文件提供低成本索引。LSM树使用一种延迟和批量索引更改的算法，以一种类似于合并排序的有效方式将基于内存的组件的更改级联到一个或多个磁盘组件。在此过程中，所有索引值都可以通过内存组件或其中一个磁盘组件连续进行检索（除了非常短的锁定期）。与传统访问方法（如B-树）相比，该算法大大减少了磁盘臂的移动，并将在使用传统访问方法进行插入的磁盘臂成本超过存储介质成本的领域提高成本性能。LSM树方法还推广到插入和删除以外的操作。然而，在某些情况下，需要立即响应的索引查找将失去输入/输出效率，因此LSM树在索引插入比检索条目的查找更常见的应用程序中最有用。例如，这似乎是历史表和日志文件的常见属性。第6节的结论将LSM树访问方法中内存和磁盘组件的混合使用与混合方法在内存中缓冲磁盘页面的常见优势进行了比较。
概述 运行在用户态的应用程序需要经常访问磁盘数据，进行读写操作，由于磁盘(HDD)相对较慢，没有任何缓存的情况下，每次应用读写操作时延页非常慢；在内核设计之初，添加了缓存设计，将磁盘数据保存在RAM中，后续的读写操作转换为在RAM中的操作，从而加快应用读写操作的速度。 页高速缓存(Page Cache)的用途是加速访问文件数据，给定inode索引节点和文件的页面的偏移量，快速的在内存中找到文件页的内容。这个Page Cache是存在于VFS和实际文件系统之间。如果应用指定了O_DIRECT方式访问文件，则直
缓冲池是InnoDB存储引擎中一块连续的内存区域，用于缓存磁盘上的数据页和索引页。由于内存访问速度远快于磁盘访问，因此将经常访问的数据和索引加载到缓冲池中，可以显著提高数据库的读写性能。缓冲池的工作原理主要基于“时间局部性”和“空间局部性”原则，即最近访问过的数据在未来很可能再次被访问，且一个数据项被访问时，与其相邻的数据项也很可能被访问。
mmap是一种内存映射文件的方法，即将一个文件或者其它对象映射到进程的地址空间，实现文件磁盘地址和进程虚拟地址空间中一段虚拟地址的一一对映关系。实现这样的映射关系后，进程就可以采用指针的方式读写操作这一段内存，而系统会自动回写脏页面到对应的文件磁盘上，即完成了对文件的操作而不必再调用read,write等系统调用函数。相反，内核空间对这段区域的修改也直接反映用户空间，从而可以实现不同进程间的文件共享。如下图所示：
在互联网技术圈中有一个说法：「MySQL 单表数据量大于 2000 W行，性能会明显下降」。网传这个说法最早由百度传出，真假不得而知。但是却成为了行业内一个默认的标准。
1、进程在用户空间调用库函数mmap，原型：void mmap(void addr, size_t len, int prot, int flags,
查询流程，我们是不是再研究下更新流程、插入流程和删除流程？ 一条查询sql的完整执行流程（从连接到引擎，穿插涉及到的知识，超详细） 在数据库里面，我们说的update操作其实包括了更新、插入和删除。如果大家有看过MyBatis的源码，应该知道Executor里面也只有doQuery()和doUpdate。的方法， 没有 doDelete()和 dolnsert()。 更新流程和查询流程有什么不同呢？ 取到数据前和查询的基本流程也是一致的，也就是说，它也要经过解析器、优化器的处理，最后交给执行器。 区别就在于拿到符合条件的数据之后的操作。 但是，要学习更新的执行流程，我们需要先知道以下几个名词的含义： 贴图镇此博客（
我们都知道，数据库是用于存取数据的。然而，存取数据会涉及到磁盘I/O的读写操作，这使得I/O读写成为数据库系统的主要性能瓶颈。为了解决这个问题，MySQL数据库采用了许多内存管理技术来优化数据库操作，包括内存优化查询、排序以及写入操作。
文章目录 缓冲池 Buffer Pool 刷脏页的时机 MySQL定时刷 MySQL内存(buffer pool)不足的时候 MySQL正常关闭的时候 redo log满了的时候 刷脏导致的性能问题
Mem：表示物理内存统计。 total：表示物理内存总量(total = used + free)。 used：表示总计分配给缓存（包含buffers 与cache ）使用的数量，但其中可能部分缓存并未实际使用。 free：未被分配的内存。 shared：共享内存。 buffers：系统分配但未被使用的buffers数量。 cached：系统分配但未被使用的cache数量。 -/+ buffers/cache：表示物理内存的缓存统计。 used2：也就是第一行中的used – buffers - cached也是实际使用的内存总量。 // used2为第二行 free2 = buffers1 + cached1 + free1 // free2为第二行，buffers1等为第一行 free2：未被使用的buffers与cache和未被分配的内存之和，这就是系统当前实际可用内存。 Swap：表示硬盘上交换分区的使用情况。
mmap是一种内存映射文件的方法，即将一个文件或者其它对象映射到进程的地址空间，实现了文件磁盘地址和进程虚拟地址的映射关系。实现映射关系后，进程就可以采用指针的方式读写操作这一段内存，而系统会自动回写脏页面到对应的文件磁盘上，即完成了对文件的操作而不必再调用read，write等系统调用函数。相反，内核空间对这段区域的修改也直接反映用户空间，从而可以实现不同进程间的文件共享。如下图所示：
一、I/O调优的重要性 二、数据传输过程 1.磁盘到缓存区运动过程
本文主要讨论I/O在底层是如何工作的。本文服务的读者，迫切希望了解Java I/O操作是在机器层面如何进行映射，以及应用运行时硬件都做了什么。假定你熟悉基本的I/O操作，比如通过Java I/O API读写文件。这些内容不在本文的讨论范围。
缓冲与缓冲的处理方式,是所有I/O操作的基础。术语“输入、输出”只对数据移入和移出缓存有意义。任何时候都要把它记在心中。通常，进程执行操作系统的I/O请求包括数据从缓冲区排出（写操作）和数据填充缓冲区（读操作）。这就是I/O的整体概念。在操作系统内部执行这些传输操作的机制可以非常复杂，但从概念上讲非常简单。我们将在文中用一小部分来讨论它。
本文主要分析 Linux 系统内存统计的一些指标以及进程角度内存使用监控的一些方法。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
腾讯会议
