对于任何一个企业来说，数据安全的重要性是不言而喻的。我在开篇词中也曾经强调过，凡是涉及到数据的问题，都是损失惨重的大问题。
上篇文章《InnoDB在SQL查询中的关键功能和优化策略》对InnoDB的查询操作和优化事项进行了说明。但是，MySQL作为一个存储数据的产品，怎么确保数据的持久性和不丢失才是最重要的，感兴趣的可以跟随本文一探究竟。
2、查看线程49342的堆栈，可以看到正在进行redo log的刷新，对应的是9号文件
简单地将数据文件从一个节点复制到另一个节点通常不够。主要因为客户端仍不断向DB写新数据，数据总在变化，因此常规的文件拷贝方式会导致不同节点上呈现出不同时间点的数据，这显然非我所欲也。
| 作者 姜宇祥，曾就职于达梦和携程，目前在CDB/CynosDB数据库内核团队担任TXSQL云数据库内核研发，多年深耕数据库领域，为国内早期一批数据库内核研发人员。过去曾在达梦经历了新一代达梦从零开始的整个研发过程，并参与多个版本的迭代与架构调整；还曾在携程率先开启MySQL的定制开发，为线上业务提供支持。另一方面，他也积极参与MySQL开源社区在中国成长过程，通过技术宣讲与文章编写助力MySQL在中国的传播。 ---- 引言 在数字领域，TX王国是一个统御着“成T上P”数据子民的大国，这里的T和P是极
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
前几日，GitHub 推出了新的主页 feed 测试版本，其中更新带来的最重要的一个功能是“For you”，可以通过算法向开发者推荐可能感兴趣的项目或用户。GitHub 表示其目的是为了让开发人员接触更广泛的受众并建立社区属性。
当我们需要修改一个记录时，数据库会先根据条件找到要修改的数据，然后执行修改写入操作，因此我们再分析写操作的执行过程时，其实是包含读语句的执行过程的。
innodb_io_capacity：脏页的刷新的数量，可以动态调整，默认是200，该参数的设置取决于硬盘的IOPS的大小，IOPS就是每秒的读写次数。
数据是当今Web，移动，社交，企业和云应用程序的流行货币。确保数据始终可用是任何组织的头等大事。几分钟的停机时间可能会导致收入和声誉严重损失。
参考答案 ： （1）一主多从 在主库读取请求压力非常大的场景下，可以通过配置一主多从复制架构实现读写分离，把大量对实时性要求不是特别高的读请求通过负载均衡分布到多个从库上，降低主库的读取压力，在主库出现异常宕机的情况下，可以把一个从库切换为主库继续提供服务。经常用在读写操作不频繁，查询量比较大的业务环境中。 （2）多级复制 一主多从的架构能够解决大部分读请求压力特别大的场景的需求，考虑到MySQL的复制是主库“推送”Binlog日志到从库，主库的I/O压力和网络压力会随着从库的增加而增长（每个从库都会在主库上有一个独立的Binlog Dump线程来发送事件），而多级复制架构解决了一主多从场景下，主库额外的I/O和网络压力。可以理解一个主库下面挂一个从库，一个从库下面再挂一个从库。 （3）双主复制/Dual Master其实就是主库Master和Master2互为主库，client客户端的写请求都方法主库Master，而读请求可以选择访问主库Master或Master2。也叫双主互备，然后主要用于对MySQL写操作要求比较高的环境中，避免了MySQL单点故障。
最近在梳理Consul健康检查逻辑的时候，也发现了一些潜在的问题，这些问题虽然不会直接造成业务故障，但是在故障发生的时候还是存在较高的概率导致一些意料之外的影响。
在 Java 开发的海洋中，我们经常会遇到各种各样的异常，它们像隐形的杀手一样，悄无声息地影响着程序的稳定性和性能。今天，我们要深入探讨的是 com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failure 这个异常，它通常发生在与 MySQL 数据库交互时。本文将详细分析这个异常的产生原因、运行原理、作用，并总结相关知识点和应用场景。
Bbuffer 与 Cache 非常类似，因为它们都用于存储数据数据，被应用层读取字节数据。在很多场合它们有着相同的概念:
一、Redis与MySQL对比 相同点： Master-Slave架构，集群架构下无法很好的完成数据拷贝，确保数据一致性。 支持数据文件持久化存储，但数据文件过大时，宕机重启可能存在安全隐患。 不同点： Redis时效性能远比MySQL要高得多，支持复杂的数据类型，基本上都是内存操作，效率远胜于MySQL。 Redis是NoSQL型数据库，或者说是Store-Cache型数据库，而MySQL属于RDBMS，关系型数据库，虽然自身做了查询缓存，但效果一般。 Redis支持以数据横向切分，便于根据业务需求扩展
一 Redis单机缺陷 redis单机容量方面会有瓶颈，主从模式只能保证支撑更多读并发，但是slave和master的数据是一模一样的，也就是说master能存储多少数据，slave就也只能存储这么多
我们通常将 Redis 作为缓存使用，提高读取响应性能，一旦 Redis 宕机，内存中的数据全部丢失，假如现在直接访问数据库大量流量打到 MySQL 可能会带来更加严重的问题。
我们的系统在和 MySQL 数据库进行通信前，需要先和数据库建立连接，而这个功能就是由MySQL驱动底层帮我们完成的，建立完连接之后，我们只需要发送 SQL 语句就可以执行 CRUD 了。如下图所示：
缓存穿透是指查询一个一定不存在的数据(比如连mysql都没得数据,Redis怎么也查不到啊)，由于缓存是不命中时被动写的，并且出于容错考虑，如果从存储层查不到数据则不写入缓存，这将导致这个不存在的数据每次请求都要到存储层去查询，失去了缓存的意义。 在流量大时，可能数据库就挂掉了，要是有人利用不存在的key频繁攻击我们的应用，这就是漏洞。
经常面试都会问到MYSQL有哪些存储引擎，以及各自的优缺点。今天主要分享常见的存储引擎：MyISAM、InnoDB、MERGE、MEMORY(HEAP)、BDB(BerkeleyDB)等，以及最常用的MyISAM与InnoDB两个引擎 ，文章尾部有两者的详细比较。
这些数据最终会持久化到文件中，那么这些数据在文件中是如何组织的？难道是一行一行追加到文件中的？其实并不是，「数据其实是存到页中的，一页的大小为16k，一个表由很多页组成，这些页组成了B+树」，最终的组织形式如下所示，具体的构建过程我就不详细介绍了，可以看我之前的文章《10张图，搞懂索引为什么会失效？》
在进行业务系统开发时，缓存的引入可以显著提升系统性能,但是也会带来一致性问题。本文将介绍缓存不一致的原因,以及如何实现缓存与数据库的强一致性。
Vmstat是一个很全面的性能分析工具，可以观察到系统的进程状态、内存使用、虚拟内存使用、磁盘的IO、中断、上下文切换、CPU使用等。系统性能分析工具中，使用最多的是这个，除了sysstat工具包外，这个工具能查看的系统资源最多。
Redis中的数据存在内存中，如果突然宕机，那么内存中的数据将全部丢失。如果数据能从后端数据库恢复还好，如果数据只存在Redis中，那数据就全丢失了。并且如果请求量很多，MySQL服务器的压力会很大。
MySQL复制是一个非常简单而有方便进行架构扩展的功能，可以说是运维必备，我们通过对主从进行不同的组合，可以满足我们相应的需求。 分享目录： 一主一从，高可用 一主一从，读写分离 一主多从，读写分离
假设这么个场景，你有个操作，一个请求过来，吭哧吭哧你各种乱七八糟操作 mysql，半天查出来一个结果，耗时 600ms。但是这个结果可能接下来几个小时都不会变了，或者变了也可以不用立即反馈给用户。那么此时咋办？
前言：七月末八月初的时候，秋招正式打响，公司会放出大量的全职和实习岗位。为了帮助秋招的小伙伴们，学长这里整理了一系列的秋招面试题给大家，所以小伙伴们不用太过焦虑，相信你们一定能超常发挥，收到心仪公司的Offer~~ 内容涵盖：Java、MyBatis、ZooKeeper、Dubbo、Elasticsearch、Memcached、Redis、MySQL、Spring、Spring Boot、Spring Cloud、RabbitMQ、Kafka、Linux等技术栈 目录 ZooKeeper面试
在前几年，redis 如果要搞几个节点，每个节点存储一部分的数据，得借助一些中间件来实现，比如说有codis，或者 twemproxy，都有。有一些 redis 中间件，你读写 redis 中间件，redis 中间件负责将你的数据分布式存储在多台机器上的 redis 实例中。
今天笔者遇到一个问题，Redis 如何在服务宕机时保证数据的可靠性——数据的持久化和一致性，发现对部分知识点的理解还不够深入，故这里记录一下学习笔记
Redis 是一款高性能的NOSQL系列的非关系型数据库。它以键值对的形式存储数据,所以它也被称为数据结构服务器。
慢查询日志是MySQL数据库的一个特殊的日志文件，记录了执行时间超过一定阈值的SQL语句和相关的信息。
Redis是个基于内存的数据库。那服务一旦宕机，内存中的数据将全部丢失。通常的解决方案是从后端数据库恢复这些数据，但后端数据库有性能瓶颈，如果是大数据量的恢复，
本篇文章会介绍Redis在项目开发中会有那些应用场景，对每个应用场景会有一个简要概述，并且会在接下来的时间对每个场景整理出文章与对应代码供开发者阅读。
我们都知道，事务具有 ACID 四个特性——原子性（Atomicity）、一致性（Consistency）、隔离性（Isolation）、持久性（Durability）。但你知道 MySQL 是通过什么技术手段来实现的吗？
Redis的缓存雪崩，穿透，击穿是在项目开发时应该注意的问题，相信大部分人都经常看到或听到这几个字眼，但是如果使用稍有不慎，可能会带来严重的问题，不光会给公司带来严重的经济利益问题，可能还会给自己的职业生涯带来一定的影响，所以本篇文章旨在说清楚三者的问题并提供相应的解决方案。
MySQL中的数据用各种不同的技术存储在文件(或者内存)中。这些技术中的每一种技术都使用不同的存储机制、索引技巧、锁定水平并且最终提供广泛的不同的功能和能力。存储引擎说白了就是如何存储数据、如何为存储的数据建立索引和如何更新、查询数据等技术的实现方法。
Redis最常用的场景就是做缓存，把DB数据存储在内存，然后直接从内存读数据，这样系统响应就会很快。 风险是一旦服务器宕机，内存中数据将全部丢失。
上面的 Cache Aside 下，业务应用需要同时维护 Cache 和 DB 两个数据存储方，过于繁琐，于是就有了 Read/Write Through 模式。在这种模式下，业务应用只关注一个存储服务即可，业务方的读写 Cache 和 DB 的操作，都由存储服务代理。
最近一直在写《手撕MySQL系列》文章，我发现自己的切入点有一些问题，虽尝试深入探究MySQL中的一些关键特性，但对于MySQL的知识掌握不太能够形成较好的体系化的知识网络。我感到在对全局了解不够清晰的时候，去深究一个知识点往往会事倍功半。所以打算通过这篇文章，分析SQL语句从头到尾的执行，串连一下MySQL当中的基础知识点。
我们都知道，Redis 的数据存储在内存中, 一旦服务器宕机，内存中的数据将全部丢失。因此，对 Redis 来说，实现数据的持久化，避免从后端数据库中进行恢复，是至关重要的。本篇我们详细讲解下 Redis 的三种持久化机制，分别是 AOF（Append Only File） 日志和 RDB 快照 以及 混合持久化。
业务线与系统越来越多，系统或业务间数据同步需求也越频繁。当前互联网业务系统大多MySQL数据存储与处理方案：
本文主要基于MySQL 5.6以后版本编写，多数知识来着书籍《MySQL技术内幕++InnoDB存储引擎》，今年的多数学习知识只写在笔记里，较为零散，最近稍有时间整理出来，分享进步。
前言 本文主要基于MySQL 5.6以后版本编写，多数知识来着书籍《MySQL技术内幕++InnoDB存储引擎》，本文章仅记录个人认为比较重要的部分，有兴趣的可以花点时间读原书。
面试官：你对Redis缓存了解吗？面对这11道面试题是否有很多问号？
可以将热点数据设置为永远不过期；或者基于 redis or zookeeper 实现互斥锁，等待第一个请求构建完缓存之后，再释放锁，进而其它请求才能通过该 key 访问数据。
在《图解Kafka中的基本概念》中已经对副本进行了介绍。我们先回顾下，Kafka中一个分区可以拥有多个副本，副本可分布于多台机器上。而在多个副本中，只会有一个Leader副本与客户端交互，也就是读写数据。其他则作为Follower副本，负责同步Leader的数据，当Leader宕机时，从Follower选举出新的Leader，从而解决分区单点问题。本文将继续深入了解Kafka中副本机制的设计和原理。
MySQL的主从复制都是单线程的操作，主库对所有DDL和DML产生的日志写进binlog，由于binlog是顺序写，所以效率很高。 Slave的SQL Thread线程将主库的DDL和DML操作事件在slave中重放。DML和DDL的IO操作是随即的，不是顺序的，成本高很多。 另一方面，由于SQL Thread也是单线程的，当主库的并发较高时，产生的DML数量超过slave的SQL Thread所能处理的速度，或者当slave中有大型query语句产生了锁等待那么延时就产生了。 常见原因：Master负载过高、Slave负载过高、网络延迟、机器性能太低、MySQL配置不合理。
在系统设计时，如果能预先看到一些问题，并在设计层面提前解决，就会给后期的开发带来很大的便捷。相反，有缺陷的架构设计可能会导致后期的开发工作十分艰难，甚至会造成“推倒重来”的情形。因此，在系统设计阶段，应该尽可能的规避项目开发中可能会遇到的各种问题。本文就选取了几个经典的问题进行介绍。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
