当内存数据页跟磁盘数据页内容不一致的时候，我们称这个内存页为“脏页”。内存数据写入到磁盘后，内存和磁盘上的数据页的内容就一致了，称为“干净页”。
晚上我登陆网站时发现后台输入账号密码后一直现在在登陆中，我以为是账号密码不对，重新输入后还是同样的问题，网站可以正常的浏览，可后台就是无法登陆，一直显示登陆中，我以为是插件问题造成的，登陆服务器进行查看发现网站负载率一直是在80-100%之间，网站卡的很，至此问题找出来了，具体什么是负载率，咱接着往下看。
今天早上发现公司项目进不去了，报 502 错误，于是直接访问后端，发现后端崩了，提示 MISCONF Redis is configured to save RDB snapshots 错误，完整的错误如下。
•Windows 10 下 C 盘清理的四个最好办法 | 安全简单，无需插件 | C 盘快满了，如何清理 C 盘？| win 10 OS盘清理[1]• Windows 10 空间又爆满？别让系统再背锅， AppData 该清一清了！[2]
文章目录 缓冲池 Buffer Pool 刷脏页的时机 MySQL定时刷 MySQL内存(buffer pool)不足的时候 MySQL正常关闭的时候 redo log满了的时候 刷脏导致的性能问题
在之前我们说过酒店记账的故事，其中酒店掌柜记账的的黑板就类似我们的redo log,而掌柜的记账本就是数据文件，掌柜的记忆就是内存。
传统的UNIX实现在内核中设有缓冲区高速缓存或页面高速缓存，大多数磁盘I/O都通过缓冲进行。当将数据写入文件时，内核通常先将该数据复制到其中一个缓冲区中，如果该缓冲区尚未写满，则并不将其排入输出队列，而是等待其写满或者当内核需要重用该缓冲区以便存放其他磁盘块数据时，再将该缓冲排入输出队列，然后待其到达队首时，才进行实际的I/O操作。这种输出方式被称为延迟写（delayed write）（Bach [1986]第3章详细讨论了缓冲区高速缓存）。 延迟写减少了磁盘读写次数，但是却降低了文件内容的更新速度，使得欲写到文件中的数据在一段时间内并没有写到磁盘上。当系统发生故障时，这种延迟可能造成文件更新内容的丢失。为了保证磁盘上实际文件系统与缓冲区高速缓存中内容的一致性，UNIX系统提供了sync、fsync和fdatasync三个函数。 sync函数只是将所有修改过的块缓冲区排入写队列，然后就返回，它并不等待实际写磁盘操作结束。 通常称为update的系统守护进程会周期性地（一般每隔30秒）调用sync函数。这就保证了定期冲洗内核的块缓冲区。命令sync(1)也调用sync函数。 fsync函数只对由文件描述符filedes指定的单一文件起作用，并且等待写磁盘操作结束，然后返回。fsync可用于数据库这样的应用程序，这种应用程序需要确保将修改过的块立即写到磁盘上。 fdatasync函数类似于fsync，但它只影响文件的数据部分。而除数据外，fsync还会同步更新文件的属性。
这里汇集了各路公交车，是张江男女必争之地。打工人最怕的是什么，不是996，不是007，最怕挤公交。
定义：平均负载是指单位时间内，系统处于可运行状态和不可中断状态的平均进程数，也就是平均活跃进程数，和 CPU 使用率并没有直接关系。换言之，要计算 CPU 负载的值，只考虑正在运行或等待分配 CPU 时间的进程。不考虑正常的休眠过程（休眠状态），僵尸或停止的过程。
在专栏之前的几篇文章中，我们总结了缓冲池，缓存页，redo log，undo log，以及数据页和数据行在底层是如何进行存储的，后续介绍了表空间，段，区等概念。这一节比较特殊，讲述的是和Linux有关的交互原理，因为多数的mysql都是部署在linux的服务器上面，本节会简单介绍一下linux是如何处理mysql的请求的，以及linux系统会带来哪些问题
我们在cpu篇就提到，iowait高一般代表硬盘到瓶颈了。wait的意思，就是等，就像等正在化妆的女朋友，总是带着一丝焦躁。本篇是《荒岛余生》系列第四篇，I/O篇，计算机中最慢的那一环。其余参见：
文件：File这个概念，在计算机里也是一次多用： 狭义的文件：指的是硬盘上的文件和目录。针对硬盘这种持久化存储的I/O设备，当我们想要进行数据保存时，往往不是保存成一个整体，而是独立成一个个的单位进行保存，这个独立的单位就被抽象成文件的概念，就类似办公桌上的一份份真实的文件一般。 广义的文件：泛指计算机中的很多的软硬件资源.
前几天，家住北京市朝阳区的程序员诸葛建国非常郁闷，他突然接到客户电话，说公司网站没法正常工作了，登上服务器一看，他大吃了一惊——服务器的硬盘满了！！ 当时诸葛建国真是怒从心头起，恶向胆边生，马上就想找cloudera的客服开喷。这服务器都用了JDT 来监控各种服务的运行状态了，怎么硬盘满了没有报警？cloudera的agent平时对资源都是锱铢必较，欲求不满，一有风吹草动就报警，怎么硬盘满了反而视而不见，装聋作哑？ 在cloudera manager中查看了一番之后发现，cloudera的agent只关
这篇文章最开始投给我的时候，没有引起太多的重视，但是看了内容之后，真是被里面的细节吸引了。
文件系统基本都是构建于块存储之上的。但当然，现在的一些分布式文件系统，如 JuiceFS[2]，底层是基于对象存储的。但无论块存储还是对象存储，其本质都是按 “数据块” 进行寻址和数据交换的。
平均负载并非使用率。cpu顶多100%，不可能120%使用率，但负载可以是200%，因为还有等待运行的进程。
本文凌驾于redis基础之上，这里笔者默认大家都已经安装了redis . 并实际使用过redis
在说这个事前希望大家都能对 CPU 、 内存 、 硬盘的速度都有了解了，这样可能理解得更深刻一点，不了解的朋友点：CPU到底比内存跟硬盘快多少
简单分析一下，IO分为两种流：字符流和字节流。字符流的父类Reader（读取到内存）和Writer（从内存输出），字节流的父类InputStream（读取到内存）和OutputStream（从内存输出），然后为了方便各种操作，比如为了文件操作，派生了文件流；为了对象操作，派生了对象流；等等。当初我也是傻傻分不清到底是Input还是Output,其实搞懂了谁是主体就容易懂了，以你现在正在写的程序为主体，Input就是流入你的程序，Output就是从你的程序流出去。
我们学习了innodb文件系统的大的框架，知道了innodb文件系统是由一些log和每个表的ibd（16K的整数倍）等文件组成的。那么这些文件，里面是怎么样的呢？
php8.1引入了了两个函数,分别为fsync和fdatasync,主要是为了PHP提供更强大IO控制能力。我们通常使用fwrite函数来对文件进行写入操作,我们认为该函数一旦返回成功,数据便已经写到了文件中,事实上是不太正确的。文件的write操作,更新的只是内存中的页缓存,而脏页不会立即更新到硬盘中,而是由操作系统统一调度。
假期的最后一天，二毛坐高铁回到了这座一不努力就要每天吃猪脚饭的城市，转乘地铁回到了租房里。
任何一种垃圾回收算法一般要做两件基本事情： 1. 发现无引用对象 2. 回收该对象占用的内存空间。
1、管理员运行cmd命令，输入命令：powercfg -h off，关闭休眠功能。默认情况下，hiberfil.sys文件大小是内存的75%，执行这条命令后，文件会自动删除，可以为C盘省出几个G的空间，另外，关闭休眠还能减少硬盘垃圾的产生和积累，能够使得电脑的运行速度更快，也会延长硬盘的使用寿命；
Innodb存储引擎是以页为单位来管理存储空间的。在真正访问页面之前，需要把在磁盘上的页缓存到内存中的Buffer Pool之后才可以访问。所有的变更都必须先更新缓冲池中的数据，然后缓冲池中的脏页会以一定的频率被刷入磁盘(Check Point机制)，通过缓冲池来优化CPU和磁盘之间的鸿沟，这样就可以保证整体的性能不会下降太快。
本节内容讲述线上的调优手段以及压力测试的相关工具，结合一些实际的命令参数，我们将会介绍运行结果的具体含义。本节内容为大致的介绍如何压力测试和如何阅读参数，具体的运行效果需要自己部署一台机器测试，关于这部分的内容受到不同的机器影响会出现完全不同的效果，需要实际测试所以没有进行记录。
之前M2O流媒体平台的视频点播存储空间将近满了。为了避免硬盘满了，造成视频录制异常。进行了视频存储资源的迁移。 实际执行的时候，大概1分钟内完成新旧平台的切换。但是前期准备工作进行了很久。回想起来之前学校的媒资管理系统更换硬盘的情况，和这个有很多类似。之所以耗费时间，主要是原有存储设备向新的存储设备的数据拷贝、文件数量校对、文件大小校对上。 这个调整，从开始筹划，到最终完成，大概有下面几个阶段： 1）前期和开发公司运维人员讨论出来一种解决方案，利用硬盘挂载、网络共享的方法实现存储设备的调整 2）不同服务器之间硬盘的挂载 3）制定了迁移时候的方案 4）拷贝数据，前后持续了2周左右。当中涉及到了视频截图文件夹中存在500G左右的直播截图文件的确认和清理工作（最终证明视频截图和计划任务的配置有关，相关功能已停用，但原有截图没有自动清除） 5）核心部分，告诉所有后台编辑人员停止视频上传、挑选了没有视频录制、没有视频时移也没有转码进程的时间，进行了存储设备调整 6）调整完后，测试了自动收录和时移功能，发现转码设备获取视频路径存在异常，导致转码服务无法获取到原始视频。调整新的资源位置后，重新提交转码任务，顺利完成视频转码 7）配置了几台设备的开机硬盘自动挂载，这样就可以一定程度避免设备重启导致的无法获取资源问题 用到和加深理解的几个命令有 1）查看文件夹以及子文件件的文件数量 find . |wc -l 2)查看当前文件夹以及子文件夹的文件大小之和 du -s 3)非覆盖目标文件的拷贝(涵盖子目录所有文件、可视化) cp -nrv source/file dest/file 4)设置文件软链接（觉得很像快捷方式） ln -sf TARGET LINK_NAME -s, --symbolic make symbolic links instead of hard links -f, --force remove existing destination files 5)设置设备开启启动完成后，执行的命令（貌似像是开机启动项） 修改/etc/rc.local This script will be executed *after* all the other init scripts. You can put your own initialization stuff in here if you don't want to do the full Sys V style init stuff.
前缀索引会使覆盖索引失效，额外增加回表的消耗，如果前缀索引的长度选择区分度不高，会额外导致扫描行数增加。
ETCD作为我们管理面（基于Java）的异步任务同步媒介，在管理面压力测试时，发现任务状态不更新了。
当不同的介质之间有数据交互的时候，JAVA就使用流来实现。 数据源可以是文件，还可以是数据库，网络甚至是其他的程序
文件和目录10项属性目录 1:索引节点：inode 2:文件类型 3:链接数 4:用户 5:组 6:文件大小 7.8.9:时间戳 10:文件名
如果并发的线程数量很多，并且每个线程都是执行一个时间很短的任务就结束了，这样频繁创建线程就会大大降低系统的效率，因为频繁创建线程和销毁线程需要时间。 那么有没有一种办法使得线程可以复用，就是执行完一个任务，并不被销毁，而是可以继续执行其他的任务？
Linux free命令查询剩余可用内存的最常用命令，其中 buffer 与 cache 有何区别呢？ 米扑博客，专门总结了一篇博客《Linux free命令：buffer 与 cache 区别》，分享到CSDN 更多经典技术博客，请见我的米扑博客：https://blog.mimvp.com free 命令 free 命令相对于top 提供了更简洁的查看系统内存使用情况 123456789101112131415161718192021 homer@homer-pc:~$ free --help Usag
平时的工作中，不知道你有没有遇到过这样的场景，一条 SQL 语句，正常执行的时候特别快，但是有时也不知道怎么回事，它就会变得特别慢，并且这样的场景很难复现，它不只随机，而且持续时间还很短。
撸代码这么久，从之前简单的脚本，到单体应用，到最后的微服务，我们的应用总会因为各种奇奇怪怪的原因罢工，有些错误显而易见，而有些错误也会让人一时摸不到头脑。究其原因，还是需要加强自己的修养，多多总结，就能做到防患于未然。
可能是开的进程太多了，占用太多的内存以致占用了很多的缓存，也可能是别的进程死了，但是缓存没有清除。
BufferedWriter 更高效，因为它内置有一个长度为 8192 的字符数组，也就是 8K 的字符数组。这样子，如果我们往文件里面写内容的话，如果内容没有填满这个数组，就会自动等待直到我们填满，然后一起写入硬盘。硬盘的运行速度是很慢的。但是我们也可以利用 close() 方法，虽然它可能没有满，但是还是可以强制让它写入硬盘。
从代码说起 fn longRunningOperations(){ ... // 很耗时}let result = longRunningOperations();// do other thing 我们来看上面这段伪代码，longRunningOperations是个很耗时的方法（调用一次要几十秒甚至几分钟），比如：
redis 作为我们最常用的内存数据库，很多地方你都能够发现它的身影，比如说登录信息的存储，分布式锁的使用，其经常被我们当做缓存去使用。
从操作系统的角度, page cache也称为disk cache, 是操作系统对硬盘(HDD or SSD)的缓存. OS 使用当前空闲的RAM来保存page cache, 用来加速对硬盘的访问. page cache在内核实现, 对应用程序几乎是透明的.
IT圈的人都知道有个“摩尔定律”，但摩尔定律也面临着失效。摩尔定律失效的原因在于，半导体制程工艺逼近了极限。
然而你发现虚拟机下并不能扩展硬盘的时候，那就清一下数据库吧 毕竟数据库占了那么大地方
一条SQL平时明明执行很快，但总有那么几个时刻，变得特别慢，看起来随机持续时间又短，难以复现。
如果是权限问题，则服务对应目录的权限，或在配置文件中修改目标目录到有权限操作的目录。
我们建索引的时候，有全文索引、主键索引、唯一性索引、普通索引等，前面两个好理解好区分，大家都知道啥时候用，后面两个该如何区分呢？唯一性索引和普通索引该如何选择呢？今天我们就来聊聊这个话题。
在一些网络服务的系统中，Redis 的性能，可能是比 MySQL 等硬盘数据库的性能更重要的课题。比如微博，把热点微博，最新的用户关系，都存储在 Redis 中，大量的查询击中 Redis，而不走 MySQL。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
实时音视频
