磁盘缓冲区 Disk Buffer 位于 磁盘 和 内存 之间的 数据缓冲区 , 其作用是 优化 数据读取 和 数据写入 速度 ;
在我们之前的讲解中，我们已经详细介绍了CPU和内存的物理结构，这是计算机系统中至关重要的组成部分。然而，除了CPU和内存之外，磁盘也扮演着非常重要的角色，它在数据存储方面起着至关重要的作用。因此，我们将继续向大家介绍磁盘的物理结构，以便更全面地了解计算机系统的工作原理。通过深入了解磁盘的物理结构，我们可以更好地理解数据的存储和访问过程，从而帮助我们更好地进行系统优化和性能提升。让我们一起深入研究磁盘的组成部分和工作原理，为进一步的学习打下坚实的基础。
No.21期 磁盘算法概述 Mr. 王：现在我们谈谈磁盘算法的问题。根据你的了解，跟我说说计算机中都采用了哪些种类的存储器？ 小可：这个我还是略知一二的。计算机中有很多用来存储数据的存储器，比如寄存器、缓存（Cache）、内存和硬盘等。 Mr. 王：这些存储结构都有什么特点呢？ 小可：寄存器、缓存和内存都是需要依靠电来维持其所存储的数据的，而磁盘可以在断电的情况下保存数据。数据是存储在磁性介质上的。 Mr. 王：它们的速度、容量和价格又如何呢？ 小可：它们的容量是依次变大的，但访问速度却是越来越慢
只有一个缓冲区用于 存储数据 和 写出数据 , 无论是 读取数据 还是 写入数据 , 都使用同一个缓冲区 ;
我们大家知道，计算机的五大基础部件是 存储器、控制器、运算器、输入和输出设备，其中从存储功能的角度来看，可以把存储器分为内存和 磁盘，内存我们上面的文章已经介绍过了，那么此篇文章我们来介绍一下磁盘以及内存和磁盘的关系。
你可能听说过内存数据库。如果没有，您可以从这里(https://en.wikipedia.org/wiki/In-memory_database)快速查看他们的概述！ 长话短说，内存数据库就是将整个数据集保存在RAM中的数据库。这意味着什么？这意味着每次查询数据库或更新数据库中的数据时，只能访问主存。这些操作没有涉及磁盘 - 这是很好的，因为主存的速度比任何磁盘都快。这种数据库的一个好例子就是Memcached。 但是，如果内存数据库重启或崩溃后，如何恢复数据？如果只要一个内存中的数据库，那就没有办法了。一
今天，我们继续「计算机底层知识」的探索。我们来谈谈关于「内存和磁盘关系」&「数据压缩」的相关知识点。
提交事务的时候，redo日志必须是刷入磁盘文件里的。这样可以严格的保证提交事务之后，数据是绝对不会丢失的，因为有redo日志在磁盘文件里可以恢复你做的所有修改。如果要是选择0的话，可能你提交事务之后，mysql宕机，那么此时redo日志没有刷盘，导致内存里的redo日志丢失，你提交的事务更新的数据就丢失了；如果要是选择2的话，如果机器宕机，虽然之前提交事务的时候，redo日志进入os cache了，但是还没进入磁盘文件，此时机器宕机还是会导致os cache里的redo日志丢失；所以对于数据库这样严格的系统而言，一般建议redo日志刷盘策略设置为1，保证事务提交之后，数据绝对不能丢失。
8月26日，星环邀请来自华东师范大学软件工程学院的博士生导师宫学庆教授带来《数据库前沿技术系列讲座》，分享数据库业内前沿发展和研究热点。现将宫学庆教授的培训第一讲内容：内存数据库的技术发展分享给大家。
Mem：表示物理内存统计。 total：表示物理内存总量(total = used + free)。 used：表示总计分配给缓存（包含buffers 与cache ）使用的数量，但其中可能部分缓存并未实际使用。 free：未被分配的内存。 shared：共享内存。 buffers：系统分配但未被使用的buffers数量。 cached：系统分配但未被使用的cache数量。 -/+ buffers/cache：表示物理内存的缓存统计。 used2：也就是第一行中的used – buffers - cached也是实际使用的内存总量。 // used2为第二行 free2 = buffers1 + cached1 + free1 // free2为第二行，buffers1等为第一行 free2：未被使用的buffers与cache和未被分配的内存之和，这就是系统当前实际可用内存。 Swap：表示硬盘上交换分区的使用情况。
NO.60 磁盘算法实践 Mr. 王：前面讨论了很多理论方面的内容，从今天开始，我们研究如何从实践的角度去进行磁盘算法、并行算法和众包算法的设计。 小可：嗯，我也很想实际写几个程序去操作前面提过的算法。 Mr. 王：那么我们就从磁盘算法的实践开始吧。 小可：我们平时使用的计算机上的数据很多都是以文件形式进行存储的，那么是不是只要借助C 语言读写文件的函数就可以操作磁盘了呢？ Mr. 王：文件的确是存储在磁盘上的，读写文件的操作也的确会产生磁盘读写。不过这样做大量的操作都是操作系统帮助我们完成的，对磁盘读写
缓冲与缓冲的处理方式,是所有I/O操作的基础。术语“输入、输出”只对数据移入和移出缓存有意义。任何时候都要把它记在心中。通常，进程执行操作系统的I/O请求包括数据从缓冲区排出（写操作）和数据填充缓冲区（读操作）。这就是I/O的整体概念。在操作系统内部执行这些传输操作的机制可以非常复杂，但从概念上讲非常简单。我们将在文中用一小部分来讨论它。
每次在使用文件的时候，总是可以看到一个缓冲区，为什么要缓冲区？有什么作用？
上一篇文章大概介绍了I/O的一些基本原理和技术，这篇我们主要介绍基于Linux系统的I/O的一些运行原理、监控方式。
数据库索引是存储在磁盘上的，当数据量大时，就不能把整个索引全部加载到内存了，只能逐一加载每一个磁盘块（对应索引树的节点），索引树越低，越矮胖，磁盘IO次数就少
本文主要讨论I/O在底层是如何工作的。本文服务的读者，迫切希望了解Java I/O操作是在机器层面如何进行映射，以及应用运行时硬件都做了什么。假定你熟悉基本的I/O操作，比如通过Java I/O API读写文件。这些内容不在本文的讨论范围。
假如6成功之后，mysql宕机了，此时p1修改已写⼊磁盘，但是p2的修改还未写⼊磁盘，最终导致userid=666的记录被修改成功了，userid=888的数据被修改失败了，数据是有问题的
本博文主要讨论I/O在底层是如何工作的。本文服务的读者，迫切希望了解Java I/O操作是在机器层面如何进行映射，以及应用运行时硬件都做了什么。 假定你熟悉基本的I/O操作，比如通过Java I/O API读写文件。这些内容不在本文的讨论范围。 缓存处理和内核vs用户空间 缓冲与缓冲的处理方式,是所有I/O操作的基础。术语“输入、输出”只对数据移入和移出缓存有意义。任何时候都要把它记在心中。 通常，进程执行操作系统的I/O请求包括数据从缓冲区排出（写操作）和数据填充缓冲区（读操作）。这就是I/O的整体概念
关于上面问题，我们看一下mysql是如何优化的，mysql内部引入了一个redo log，这是一个文件，对于上面2条更新操作，mysql实现如下：
在MapReduce框架中，Shuffle是连接Map和Reduce之间的桥梁，Map的输出要用到Reduce中必须经过Shuffle这个环节，Shuffle的性能高低直接影响了整个程序的性能和吞吐量。Spark作为MapReduce框架的一种实现，自然也实现了Shuffle的逻辑。对于大数据计算框架而言，Shuffle阶段的效率是决定性能好坏的关键因素之一。
本博文主要讨论I/O在底层是如何工作的。本文服务的读者，迫切希望了解Java I/O操作是在机器层面如何进行映射，以及应用运行时硬件都做了什么。假定你熟悉基本的I/O操作，比如通过Java I/O API读写文件。这些内容不在本文的讨论范围。
很多小伙伴对swap分区（内存数据换入换出）这个名词可能不陌生，有了这个技术，系统才能实现承载计算机内存总量的多进程运行。操作系统会把暂时不用的内存数据写到磁盘等其他存储中，以此来释放更多的内存空间执行当前需要更多内存的进程。但是换入换出过度频繁时虽然可能不发生进程申请不到内存而导致失败的问题，但却在一定程度上降低了进程执行的效率，毕竟内存与磁盘读写速度相差几个数量级，那么是否有其他技术能解决内存数据换入换出速度过慢的问题。这也是为什么安装k8s的机器上推荐关闭swap的原因，如果内存不足就直接暴漏出来，而不是遮遮掩掩。
业务系统通过一个数据库连接发给MySQL，经过SQL接口、解析器、优化器、执行器，解析SQL语句，生成执行计划，接着由执行器负责执行该计划，调用InnoDB的接口去实际执行。
这篇文章前半部分我们对直接在 Block 存取发挥重要作用的类进行介绍，主要是 DiskBlockManager、MemoryStore、DiskStore。后半部分以存取 Broadcast 来进一步加深对 Block 存取的理解。
No.23期 外排序（二） Mr. 王：接下来我们用一个例子对磁盘归并排序进行说明。先来约定讨论的参数：N=24，M=8，B=2。 小可：嗯，一共有24 个数据项，内存能装下8 个数据项，一个磁盘块包含2 个数据项。 也就是说，内存可以装下4 个磁盘块。 我们就以1 ～ 24 这组数字为例吧。 其初始状态为： 24 1 23 19 20 5 18 16 4 7 8 9 10 15 17 14 3 2 6 11 12 13 22 21 首先，我们尽可能把内存装满。 24 1 23 19 20 5
LSM 树的这些特点，使得它相对于 B+ 树，在写入性能上有大幅提升。所以，许多 NoSQL 系统都使用 LSM 树作为检索引擎，而且还对 LSM 树进行了优化以提升检索性能。
Kafka是大数据领域无处不在的消息中间件，目前广泛使用在企业内部的实时数据管道，并帮助企业构建自己的流计算应用程序。
面试很多互联网公司，都会问这个问题，也许我们看过太多面经内容，但是基本上答案千篇一律，对于面试官而言也是基本上听腻了，是多么希望能听到不一样的解答，那么今天希望这篇文章可以给你不一样的答案。
大家都清楚，日志是 MySQL 数据库的重要组成部分，记录着数据库运行期间各种状态信息。MySQL 日志主要包括「错误日志」、「查询日志」、「慢查询日志」、「二进制日志(binlog)」 和 事务日志(redo log、undo log)几大类。
之前文章《Linux服务器性能评估与优化(一)》太长，阅读不方便，因此拆分成系列博文：
孔乙己又来酒馆喝酒，兜里没钱手机也没电了，只能向掌柜的赊账。掌柜有一块粉板，当客人要赊账的时候就往上写一笔，等客人少的时候或者粉板写满了就记到账本里去。还好有这块粉板，不然每次客人要赊账，掌柜都要翻看账本，在密密麻麻的账本里找到赊账客人的名字绝对不是一件容易的事，有了粉板，掌柜只要往粉板上记一笔：“孔乙己 赊 两文”，空闲的时候再更新到账本里去，简单多了。
文章目录 缓冲池 Buffer Pool 刷脏页的时机 MySQL定时刷 MySQL内存(buffer pool)不足的时候 MySQL正常关闭的时候 redo log满了的时候 刷脏导致的性能问题
大多数 Spark 作业的性能主要就是消耗在了 shuffle 环节，因为该环节包含了大量的磁盘IO、序列化、网络数据传输等操作。因此，如果要让作业的性能更上一层楼，就有必要对 shuffle 过程进行调优。但是也必须提醒大家的是，影响一个 Spark 作业性能的因素，主要还是代码开发、资源参数以及数据倾斜，shuffle 调优只能在整个 Spark 的性能调优中占到一小部分而已。因此大家务必把握住调优的基本原则，千万不要舍本逐末。下面我们就给大家详细讲解 shuffle 的原理，以及相关参数的说明，同时给出各个参数的调优建议。
虚拟机提供了多个用于创建和管理快照及快照链的操作。通过这些操作，您可以创建快照、还原到链中的任意快照以及移除快照。可以创建层层快照树。
数据库存储的基本单位是页，对于一棵 B+ 树的索引来说，是先从根节点找到叶子节点，也就是先查找数据行所在的页，再将页读入到内存中，在内存中对页的记录进行查找，从而得到想要数据,想要查找的，只是一行记录，但是对于磁盘 I/O 来说却需要加载一页的信息，因为页是最小的存储单位。
而虚拟内存归属于操作系统，是操作系统里面非常重要的一个概念，操作系统的主要作用有两个：
有些运算需要将各节点上的同一类数据汇集到某一节点进行计算，把这些分布在不同节点的数据按照一定的规则汇集到一起的过程称为Shuffle。
线程单元中的处理器队列的即时长度，如果大于CPU数量+1，说明处理器处于堵塞状态。
es吃内存，es吃的主要不是你的jvm的内存，一般来说es用jvm heap（堆内存）还是用的比较少的，主要吃的是你的机器可用的剩余内存
在之前我们说过酒店记账的故事，其中酒店掌柜记账的的黑板就类似我们的redo log,而掌柜的记账本就是数据文件，掌柜的记忆就是内存。
大家好，我是 Peter，昨天群里有小伙伴咨询page cache的问题，看到网上有篇不错的文章，分享给大家。如果大家有想看的内容，欢迎给我留言。
普通索引和唯一索引在查询能力上没啥差别，主要考虑对更新性能的影响，要尽量选择普通索引。接下来分析两种索引在查询语句和更新语句对性能的影响。
首先，可执行程序存储在磁盘中(当然也可以是其它介质)，可执行程序中实际上主要包含两部分内容：机器指令以及指令依赖的数据；
今天发现突然有一台主机无缘无故死机了，于是翻看了/var/log/message日志，发现提示： echo 0 > /proc/sys/kernel/hung_task_timeout_secs;
在执行一个PE文件的时候，windows 并不在一开始就将整个文件读入内存的，二十采用与内存映射文件类似的机制。 也就是说，windows 装载器在装载的时候仅仅建立好虚拟地址和PE文件之间的映射关系。 当且仅当真正执行到某个内存页中的指令或者访问某一页中的数据时，这个页面才会被从磁盘提交到物理内存，这种机制使文件装入的速度和文件大小没有太大的关系。
基于 Bitcask 模型，兼容 Redis 数据结构和协议的高性能 KV 存储引擎 设计细节
大概就是，进程写文件（使用缓冲 IO）过程中，写一半的时候，进程发生了崩溃，会丢失数据吗？
一、I/O调优的重要性 二、数据传输过程 1.磁盘到缓存区运动过程
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
云直播
