前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >redis持久化

redis持久化

作者头像
changan
发布于 2021-04-19 09:30:16
发布于 2021-04-19 09:30:16
7280
举报

AOF 机制 (Append Only File)

flush时间配置

AOF 配置项 appendfsync 的三个可选值:

  • Always,同步写回:每个写命令执行完,立马同步地将日志写回磁盘;
  • Everysec,每秒写回:每个写命令执行完,只是先把日志写到 AOF 文件的内存缓冲区,每隔一秒把缓冲区中的内容写入磁盘;
  • No,操作系统控制的写回:每个写命令执行完,只是先把日志写到 AOF 文件的内存缓冲区,由操作系统决定何时将缓冲区内容写回磁盘。
aof 重写机制

简单来说,AOF 重写机制就是在重写时,Redis 根据数据库的现状创建一个新的 AOF 文件,也就是说,读取数据库中的所有键值对,然后对每一个键值对用一条命令记录它的写入。

重写的过程

  • 从主进程中fork出子进程,并拿到fork时的AOF文件数据写到一个临时AOF文件中
  • 在重写过程中,redis收到的命令会同时写到AOF缓冲区和重写缓冲区中,这样保证重写不丢失重写过程中的命令
  • 重写完成后通知主进程,主进程会将AOF缓冲区中的数据追加到子进程生成的文件中
  • redis会原子的将旧文件替换为新文件,并开始将数据写入到新的aof文件上
AOF 重写的操作系统过程

fork子进程,fork这个瞬间一定是会阻塞主线程的,fork采用操作系统提供的写实复制(Copy On Write)机制,就是为了避免一次性拷贝大量内存数据给子进程造成的长时间阻塞问题,但fork子进程需要拷贝进程必要的数据结构,其中有一项就是拷贝内存页表(虚拟内存和物理内存的映射索引表),这个拷贝过程会消耗大量CPU资源,拷贝完成之前整个进程是会阻塞的,阻塞时间取决于整个实例的内存大小,实例越大,内存页表越大,fork阻塞时间越久。

拷贝内存页表完成后,子进程与父进程指向相同的内存地址空间,也就是说此时虽然产生了子进程,但是并没有申请与父进程相同的内存大小。那什么时候父子进程才会真正内存分离呢?“写时复制”顾名思义,就是在写发生时,才真正拷贝内存真正的数据,这个过程中,父进程也可能会产生阻塞的风险,就是下面介绍的场景。

fork出的子进程指向与父进程相同的内存地址空间,此时子进程就可以执行AOF重写,把内存中的所有数据写入到AOF文件中。但是此时父进程依旧是会有流量写入的,如果父进程操作的是一个已经存在的key,那么这个时候父进程就会真正拷贝这个key对应的内存数据,申请新的内存空间,这样逐渐地,父子进程内存数据开始分离,父子进程逐渐拥有各自独立的内存空间。

因为内存分配是以页为单位进行分配的,默认4k,如果父进程此时操作的是一个bigkey,重新申请大块内存耗时会变长,可能会产阻塞风险。另外,如果操作系统开启了内存大页机制(Huge Page,页面大小2M),那么父进程申请内存时阻塞的概率将会大大提高,所以在Redis机器上需要关闭Huge Page机制。Redis每次fork生成RDB或AOF重写完成后,都可以在Redis log中看到父进程重新申请了多大的内存空间。

快照

理论跟 aof重写机制类似, fork之后,遍历k-v按照一定格式做镜像;后面在按照这个镜像恢复

混合使用 AOF 日志和内存快照

内存快照以一定的频率执行,在两次快照之间,使用 AOF 日志记录这期间的所有命令操作。

风险

如果Redis进程绑定了CPU,那么子进程会继承父进程的CPU亲和性属性,子进程必然会与父进程争夺同一个CPU资源,整个Redis Server的性能必然会受到影响!所以如果Redis需要开启定时RDB和AOF重写,进程一定不要绑定CPU。

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2021-04-17,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
面试中经常被问到的 Redis 持久化与恢复
本文主要讲了 Redis 的持久化相关功能,持久化一直是影响 Redis 性能的高发地,也是面试中经常被问到的。
java思维导图
2019/05/08
7430
面试中经常被问到的 Redis 持久化与恢复
字节二面:Redis 的大 Key 对持久化有什么影响?
当应用程序向文件写入数据时,内核通常先将数据复制到内核缓冲区中,然后排入队列,然后由内核决定何时写入硬盘。
小林coding
2022/10/27
3600
字节二面:Redis 的大 Key 对持久化有什么影响?
redis之持久化
本文主要是介绍 redis 是如何进行持久化数据的,我们知道 redis 是基于内存的数据库,那么只要服务器一旦宕机,那么数据则将全部丢失,如果从后端数据库进行恢复,则可能导致性能变慢,那么 redis 需要自身持久化,而不通过后端数据库来恢复数据是重要的。
编程黑洞
2023/03/06
4290
redis之持久化
Redis持久化AOF
Redis主要包含2中持久化方式,即RDB和AOF,本文主要介绍AOF,RDB见本站的另一篇博客Redis持久化RDB (opens new window)
benym
2022/07/14
5170
Redis持久化AOF
就这?Redis持久化策略——AOF
男孩“一觉醒来”忘记了对女孩子的承诺,这时候女孩子把曾经海誓山盟的录音逐条播放给男孩子听,帮助他“恢复记忆”。
蝉沐风
2022/08/22
1.1K0
就这?Redis持久化策略——AOF
结合上篇redis持久化,本篇收收尾、唠唠嗑
1、上篇redis 持久化 url :不说全网最全面redis持久化,也敢说前10
八点半的Bruce、D
2021/08/05
3910
Redis基础—了解Redis是如何做数据持久化的
之前的文章介绍了Redis的简单数据结构的相关使用和底层原理,这篇文章我们就来聊一下Redis应该如何保证高可用。
SH的全栈笔记
2020/11/13
3480
【Redis】Redis持久化(一)
RDB全称Redis Database Backup file(Redis数据备份文件),也被叫做Redis数据快照。简单来说就是把内存中的所有数据都记录到磁盘中。当Redis实例故障重启后,从磁盘读取快照文件,恢复数据。快照文件称为RDB文件,默认是保存在当前运行目录。
陶然同学
2023/03/10
2040
【Redis】Redis持久化(一)
Redis 持久化是如何做的? RDB和AOF对比分析
这篇文章我们先介绍Redis的高可用保障的基础:数据持久化。因为Redis的主从复制和自动故障恢复,都需要依赖Redis持久化相关的东西。同时,Redis的数据持久化也可以用来做数据备份,用来保障数据的安全性。
全栈程序员站长
2022/07/19
2550
Redis 持久化是如何做的? RDB和AOF对比分析
Redis-如何实现持久化(AOF、RDB、混合模式)的优缺点
Redis的读写操作都是在内存中,所以Redis性能才会高,但是当Redis重启后,内存中的数据就会丢失,那为了保存内存中的数据不会丢失,Redis实现了数据持久化机制,会把数据保存到磁盘,这样Redis重启就能够从磁盘恢复原有的数据
才疏学浅的木子
2023/10/17
4540
Redis-如何实现持久化(AOF、RDB、混合模式)的优缺点
深入解析 Redis 持久化机制
我们都知道,Redis 的数据存储在内存中, 一旦服务器宕机,内存中的数据将全部丢失。因此,对 Redis 来说,实现数据的持久化,避免从后端数据库中进行恢复,是至关重要的。本篇我们详细讲解下 Redis 的三种持久化机制,分别是 AOF(Append Only File) 日志和 RDB 快照 以及 混合持久化。
架构狂人
2023/08/16
5340
深入解析 Redis 持久化机制
redis AOF性能瓶颈分析
最近发现一个问题,redis在高流量写入的情况下,偶发性出现客户端延迟升高,经过排查发现redis AOF重写 fork 子进程导致。为什么要进行AOF重写,以及如何避免AOF重写呢?本文做个介绍。
用户5166556
2023/03/18
1.1K0
redis AOF性能瓶颈分析
redis的持久化
Redis借助了fork命令的copy on write机制。在生成快照时,将当前进程fork出一个子进程,然后在子进程中循环所有的数据,将数据写成为RDB文件。
程序员小饭
2020/09/07
4600
redis学习笔记(二)AOF日志
对于正常的redis使用,如果redis中存放了很重要的数据,并且一旦redis数据丢失的情况下,就需要重新恢复数据。一般情况最容易解决的方法是:从数据库中读取数据再set进缓存中。但是这样的解决方式也有很大的弊端:比如对于数据库:需要频繁访问数据库,会给数据库带来很大的压力。
虞大大
2020/12/15
6190
redis学习笔记(二)AOF日志
AOF持久化
由于需要记录Redis的每条写命令,因此AOF不需要触发,下面介绍AOF的执行流程。 AOF的执行流程包括: 命令追加(append):将Redis的写命令追加到缓冲区aof_buf; 文件写入(write)和文件同步(sync):根据不同的同步策略将aof_buf中的内容同步到硬盘; 文件重写(rewrite):定期重写AOF文件,达到压缩的目的。
用户5546570
2020/02/13
9150
Redis持久化
AOF的整个流程大体来看可以分为两步,一步是命令的实时写入(如果是 appendfsync everysec 配置,会有1s损耗),第二步是对aof文件的重写。
用户3876103
2024/08/27
920
超详细!彻底说明白Redis持久化
Redis作为一款被广泛应用的内存数据库,想必大家都用过,而作为内存数据库,其持久化机制是确保数据安全和稳定性的关键所在。
BookSea
2024/02/29
3.8K1
超详细!彻底说明白Redis持久化
Redis详解(3)数据持久化机制
Redis由于支持非常丰富的内存数据结构类型,如何把这些复杂的内存组织方式持久化到磁盘上是一个难题,所以Redis的持久化方式与传统数据库的方式有比较多的差别,Redis一共支持四种持久化方式,分别是:
黄规速
2022/04/14
1.1K0
Redis详解(3)数据持久化机制
Redis 数据持久化?-----意外宕机如何避免数据丢失
我们在实际应用生产中,大部分公司会把 Redis 当做缓存使用,用它来把后端数据库中的数据存储在内存中,然后直接从内存中直接读取数据,这样会使这个程序响应速度变得非常快。但是一旦服务器宕机,那么内存中的数据将全部丢失?
张琳兮
2020/12/14
1.2K0
Redis 持久化的这些细节,你真废了吗
Redis 的数据全部在内存里,如果突然宕机,数据就会全部丢失,因此必须有一种机制来保证 Redis 的数据不会因为故障而丢失,这种机制就是 Redis 的持久化机制,它会将内存中的数据库状态 保存到磁盘 中。
Leetcode名企之路
2021/03/10
2.9K0
相关推荐
面试中经常被问到的 Redis 持久化与恢复
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档