implications of non-volatile memory as primary storage for database management systems
我们操作 Mysql 数据的时候，都是把数据页加载到 Buffer Pool 中才可以访问，但是事务是需要具有持久性的，如果我们只再内存的Buffer Pool中修改了页面，假设在事务提交后突然发生了某个故障，导致内存中的数据都失效了，那么这个已经提交了的事务对数据库中所做的更改也就跟着丢失了。为了保证事务的持久性，我们需要在事务提交完成之前把该事务所修改的所有页面都刷新到磁盘。
一、磁盘分区 1. 磁盘分区概述 2. 磁盘分区实例 3. 查询磁盘情况 4. 磁盘情况其他指令 二、网络配置 1. 网络概述 2. 配置 Linux 网络环境 3. 设置主机名和 host 映射 4. 补充 主机名解析过程 一、磁盘分区 1. 磁盘分区概述 Linux 操作系统只有一个根目录，根目录下又分几个区分别分给某一子目录使用，Linux 操作系统中的每个分区都是整个文件系统的一部分，硬盘中的每个分区都会挂载到文件系统的某一目录中。 Linux 硬盘分为 IDE 硬盘和 SCSI 硬盘，IDE 硬盘
前面说了redo日志的格式，刷新到磁盘后台有线程每秒运行一次，还有事务提交的时候，buffer pool不会刷新到磁盘，但是log buffer会刷新到磁盘。Log buffer会分成若干的block，吧这些block持久化到磁盘上，mysql根目录有两个log_file0和log_file1,可以增加，当存满的时候，从0循环继续存储，默认是48Mb。每个block是512个字节，前面四个block占比2048个字节是记录管理信息，2048字节后面开始记录block。
这是一条很简单的更新SQL，从MySQL服务端接收到SQL到落盘，先后经过了MySQL Server层和InnoDB存储引擎。
本文包含: 磁盘及分区管理、文件系统管理、磁盘配额管理、文件系统维护 1. 磁盘及分区管理 查看磁盘设备列表命令 fdisk 查看当前计算机中的磁盘设备及分区列表 # fdisk -l 查看磁盘设备命令 hdparm 参数 I：显示硬盘提供的硬件信息 T：评估硬盘从快速缓存中读取数据的速度 t：评估硬盘从缓冲区中读取数据的速度 磁盘分区工具 fdisk 常用命令 d：删除分区 l：查看分区类型列表 n：添加新分区 p：打印当前分区列表 q：不保存已更改的内容并退出 t：修改分区类型 v：验证分区表 w：
Linux 操作系统只有一个根目录，根目录下又分几个区分别分给某一子目录使用，Linux 操作系统中的每个分区都是整个文件系统的一部分，硬盘中的每个分区都会挂载到文件系统的某一目录中。
能够使文件系统工作是一回事，能够使文件系统高效、稳定的工作是另一回事，下面我们就来探讨一下文件系统的管理和优化。
EC2磁盘扩容 问题：rancher上节点报错，DiskPressure，初步诊断为磁盘压力 排查：用ssh连接上node，执行df -h查看磁盘使用情况，发现达到90%以上，确认为磁盘太小 解决步骤： 1. 登陆aws，找到对应的ec2 instance，并找到对应的volume，点击修改磁盘大小，修改为理想值； 2. 此时磁盘大小已经修改，但是还是同样报错，原因是我们以上操作只是修改了磁盘的大小，并没有修改到文件系统去，需要执行以下命令进行分区的扩容；
假如6成功之后，mysql宕机了，此时p1修改已写⼊磁盘，但是p2的修改还未写⼊磁盘，最终导致userid=666的记录被修改成功了，userid=888的数据被修改失败了，数据是有问题的
上一篇文章我们讲了一条查询sql时如何执行的. 今天我们继续来看下一条更新sql的执行流程.
找到不是 NTFS 的比较大的分区，一般分区编号可能比较靠后，总之就是需要各种方法确定这个是 Ubuntu 的磁盘，右键删除卷
磁盘格式化： / =根目录 / 和 boot 都是 xfs 格式。 支持的格式 有 ext4 ext3 ext2 xfs cat /etc/filesystems
这两个数据库操作的总和，构成一个完整的逻辑过程，不可拆分。这个过程被称为一个事务，具有ACID特性。
关于上面问题，我们看一下mysql是如何优化的，mysql内部引入了一个redo log，这是一个文件，对于上面2条更新操作，mysql实现如下：
InnoDB 存储引擎是以页为单位来管理存储空间的，我们的增删改查本质上都是对页面上进行操作。我们知道在访问磁盘的时候，MySQL是会把数据加载到Buffer Pool然后进行操作的。对于DML操作，表、索引等的增删改DDL操作，还有数据本身是在Buffer Pool缓冲池中可能还没来得及刷新到磁盘中，系统或者服务器突然崩溃，那这些数据该怎么恢复呢？
fdisk : 这个命令是磁盘分区表操作工具，fdisk能将磁盘分区，同时也能为每个分区指定分区类型，总的来说，fdisk就是磁盘工具
edquota命令用于编辑指定用户或工作组的磁盘配额。edquota预设会使用vi来编辑使用者或群组的quota设置。
Paragon NTFS是ntfs磁盘读写工具,帮助用户在MAC电脑上读写NTFS格式的磁盘,需要解决MAC无法读写磁盘。NTFS文件系统是Windows NT系列开始启用的文件系统格式，也是目前主流的Win系统磁盘格式。NTFS文件格式可对Win磁盘分区的文件或移动存储设备进行权限设置，以阻止没有访问权限的用户打开文件，防止数据信息泄漏；NTFS还可以对单个文件、目录或卷上目录树进行压缩，节省磁盘空间。
通过文件管理可以直接查看、修改、复制虚拟机的内部文件。例如，当系统因为配置文件无法启动时，可以直接修改虚拟机的文件。虚拟机磁盘文件主要有raw和qcow2格式。raw格式性能最好，速度最快，它的缺点就是不支持一些新的功能，如支持镜像,zlib磁盘压缩,AES加密等。要使用镜像功能，磁盘格式必须为qcow2。 raw格式的话，速度稍微快点，在高版本的qemu-kvm中，几乎不比qcow2的格式快，而qcow2格式节省空间，可动态增长，在公有云中广泛使用，建议使用qcow2。所有
在写日志的时候，单个日志如果过大，对于读写和同步都会产生影响，所以在日志变大的时候，需要对日志进行一个分组。
答：创建一个存储脏页的链表，凡是被修改过的缓冲页对应的控制块都会作为节点加入到这个链表中。该链表也被称为flush链表。
今天发现突然有一台主机无缘无故死机了，于是翻看了/var/log/message日志，发现提示： echo 0 > /proc/sys/kernel/hung_task_timeout_secs;
业务系统通过一个数据库连接发给MySQL，经过SQL接口、解析器、优化器、执行器，解析SQL语句，生成执行计划，接着由执行器负责执行该计划，调用InnoDB的接口去实际执行。
Paragon NTFS 15是一款macOS下支持NTFS格式磁盘读写的工具。它能帮你解决不能使用Ntfs格式的U盘和移动硬盘的问题。
1、权限与用户是紧密关联的；不同的用户身份对应着不同等级的权限；一个服务器需要多用户操作，此时每个用户最好设置自己的权限，方便管理和运维。
内核中同步、交换、回收简要说明 同步、换出、回收三个操作的最小的单位是以页帧为单位，并且和磁盘文件系统操作紧密相关。比如一些针对文件的page缓存进行修改时候在一定时候需要把数据刷到后端的磁盘文件系统，这过程就是同步；进程的堆、栈、匿名映射区通过交换把这些数据换出到交换文件中，这个就是交换(换出)，当这些数据再次需要访问时候，就从交换文件中读取加载到内存中;回收操作涉及到物理页的使用问题，比如一个文件的两个dirty page数据flush到磁盘文件系统后，这个2个page回收到buddy系统已备侯勇。 同
回滚和提交机制的选择取决于事务处理的需求和具体的应用场景。当事务发生错误或异常时，可以选择回滚事务来保证数据的一致性；而当事务中的所有操作都成功执行时，可以选择提交事务来实现数据的持久性和可见性。
MySQL WAL（Write-Ahead Logging）技术：是 MySQL 数据库的一种重要机制，主要关于数据库系统中的事务处理和日志管理。
声明：本文由【MS509 Team】成员expsky原创，仅用于技术交流分享，禁止将相关技术应用到不当途径。 整理电脑的时候找到自已以前分析的一个鬼影病毒的资料，当时兼容市面上主要的windows系统（XP, win7,包含x86和x64系统）样本来自国外，有不少亮点，当时花了不少时间把所有原理分析出来并重新用汇编和C++实现了出来。 以前的一些资料简单整理了下，分享出来，也给自己以前的工作留个记录。 该木马样本通过感染MBR达到早于系统得到执行。整个样本以非文件形式存在，直接写人磁盘扇区。包括感染的MBR
当我们每次购买新的Mac时，它只能读取Windows NTFS格式的USB驱动器，那么如果要将文件添加、保存或写入Mac，您还需要附加的NTFS驱动程序。而tuxera ntfs mac官方版可以很好的帮助用户在Mac上打开，编辑，复制，移动或删除存储在Windows NTFS格式的USB驱动器上的文件，实现苹果Mac OS X系统读写Microsoft Windows NTFS文件系统，在硬盘、U盘等外接设备中进行全面访问、删除、修改等相关操作，同时还包括开源磁盘管理器等简单的格式和硬盘维修检查和修复。 并且，在tuxera ntfs mac官方版中还支持macOS 12 El Capitan以及磁盘管理等功能，在操作上带来更多的可能。对于经常需要对移动硬盘内容进行读写的人来说，这款工具软件无非是帮了大忙了，安装软件后，直接就可以对硬盘进行操作了就和在windows一样，感兴趣的朋友欢迎下载体验。
虽然可能大部分文章都有介绍过，但为了文章的完整性，我们还是从 redo log 和 binlog 的区别聊起。
版权声明：本文为耕耘实录原创文章，各大自媒体平台同步更新。欢迎转载，转载请注明出处，谢谢
Innodb存储引擎是以页为单位来管理存储空间的。在真正访问页面之前，需要把在磁盘上的页缓存到内存中的Buffer Pool之后才可以访问。所有的变更都必须先更新缓冲池中的数据，然后缓冲池中的脏页会以一定的频率被刷入磁盘(Check Point机制)，通过缓冲池来优化CPU和磁盘之间的鸿沟，这样就可以保证整体的性能不会下降太快。
（记旧值）undo日志用于存放数据修改被修改前的值，假设修改 tba 表中 id=2的行数据，把Name=‘B’ 修改为Name = ‘B2’ ，那么undo日志就会用来存放Name='B’的记录，如果这个修改出现异常，可以使用undo日志来实现回滚操作，保证事务的一致性。
df命令是Linux系统中的一个常用命令，用于显示磁盘空间使用情况。它可以显示文件系统的总空间、已用空间、可用空间、使用率等信息。使用df命令可以帮助用户了解磁盘空间的使用情况，以便及时进行磁盘清理或扩容等操作。
本文描述了为Linux ext2fs文件系统设计和实现事务元数据日志的工作进展。我们回顾了崩溃后恢复文件系统的问题，并描述了一种旨在通过向文件系统添加事务日志来提高ext2fs崩溃恢复速度和可靠性的设计。
假设这里文件在磁盘上都是连续存放的，此时有一个test.c文件，占据了6,7,8三个盘块的位置。
Mem：表示物理内存统计。 total：表示物理内存总量(total = used + free)。 used：表示总计分配给缓存（包含buffers 与cache ）使用的数量，但其中可能部分缓存并未实际使用。 free：未被分配的内存。 shared：共享内存。 buffers：系统分配但未被使用的buffers数量。 cached：系统分配但未被使用的cache数量。 -/+ buffers/cache：表示物理内存的缓存统计。 used2：也就是第一行中的used – buffers - cached也是实际使用的内存总量。 // used2为第二行 free2 = buffers1 + cached1 + free1 // free2为第二行，buffers1等为第一行 free2：未被使用的buffers与cache和未被分配的内存之和，这就是系统当前实际可用内存。 Swap：表示硬盘上交换分区的使用情况。
MySQL数据库的性能调优是数据库管理员和开发者们必须面对的挑战，而性能关键的方式在于参数的调优，其中 innodb_lru_scan_depth 是不可忽视的一项。今天我们一起了解这个参数，探讨如何通过调整它来优化数据库性能。
Redis 的数据 全部存储 在 内存 中，如果 突然宕机，数据就会全部丢失，因此必须有一套机制来保证 Redis 的数据不会因为故障而丢失，这种机制就是 Redis 的 持久化机制，它会将内存中的数据库状态 保存到磁盘 中。
众所周知，因为一些原因，我们的macOS无法读写NTFS文件系统，要想读写NTFS，我们就要用到软件!
首先，我们将讨论支持InnoDB克隆技术的一些内部产品。MySQL企业版备份（MEB）是一种企业级产品，可为MySQL提供备份和恢复。在各种类型的备份中，我们关注下面两种类型：
磁盘配额：限制磁盘资源的使用。 限制原因就是因为资源不是无限的。 应用场合： 1、网络存储空间有限 2、邮件服务器 3、公司的文件共享服务器 限制对象： 1、限制普通用户 2、限制用户组 注意：没有办法限制root的。 能够限制什么？ inode —— 限制用户创建文件的个数 block —— 限制用户能够使用的磁盘空间的大小 设置配额的条件？ 需要内核支持quota的功能 [loring ~]# grep -i quota/boot/config-2.6.32-358.el6.x86_64 CON
今天这节课也是讲解文件系统的logging，这节课讲的是Linux中的广泛使用的ext3文件系统所使用的logging系统，同时我们也会讨论在高性能文件系统中添加log需要面对的一些问题。首先我会花几分钟来回顾一下，为什么我们要学习logging。
上一篇的文章是为了给这一篇文件提供理论的基础，在这篇文章中我将带大家一起来实现在linux中虚拟出ubuntu的server版来 我们需要用KVM+Qemu+Libvirt来进行kvm全虚拟化，创建虚拟机并管理。 kvm是用来虚拟化或者说模拟CPU、内存等硬件的。 QEMU只是用来虚拟化硬盘的 libvirt提供了整个虚拟机的管理，比如说虚拟机的启动，停止，创建，删除等等。 其实KVM+Qemu+Libvirt就是模拟了一个VMWare软件 环境： 宿主机：ubuntu16.04的server版
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
腾讯会议
