爱可生 DBA 团队成员，负责项目日常问题处理及公司平台问题排查。热爱 IT，喜欢在互联网里畅游，擅长摄影、厨艺，不会厨艺的 DBA 不是好司机，didi~
从字面意思看了一下是因为slave_pending_jobs_size_max默认值为16777216（16MB），但是slave接收到的slave_pending_jobs_size_max为17085453（17M）；
大内存云服务器是专为处理大规模数据和高负载应用而设计的服务器，其主要特点是拥有大容量的随机存储器（RAM）。这种类型的服务器通常用于需要快速、高效地处理大数据集、内存密集型任务和高性能计算的应用。以下是大内存云服务器的一些特点和优势：
MySQL-8.0.28 发布了，它提供了在连接层面限制内存使用的功能；也就说我们现在可以控制前端的业务连接一共能用多少内存。
众所周知Xtrabackup 是mysql 中重要的备份工具，而数据库的备份中，尤其大内存的 MYSQL 备份中，都有一个问题的存在就是 innodb_buffer_pool 的存在。备份后的MYSQL 在恢复后，一般innodb_buffer_pool 的数据都不会再恢复的数据库上出现，越大的内存和繁忙的MYSQL 在数据恢复后，就会有一个缓冲期，需要预热一段时间。一般来说我们都是希望备份的数据恢复后能带有内存中的数据。其实MYSQL 本身是有这个设置的，就是在关机和开机的时候，将 innodb buffer pool 写入文件，在开始的时候读取这些文件，装载到内存中。
MYSQL 8 已经上线一段时间了,每个数据库系统的内存方面都有自己的特点,MYSQL的内存的特点,下面总结了一些同学们经常会问的一些内存方面的问题.
希望这期不要掉粉，因为在说SQL SERVER 但实际上这期如果你放到所有的数据库上去看，也是有营养的，虽然放到了一般不会发文的周六，也没想有多少观众，就当自己对某些东西的回顾和反思。
最近一直在做性能压测相关的事情，有公众号的读者朋友咨询有赞的数据库服务器有没有开启huge page，我听说过huge page会对性能有所提升，本文就一探究竟。对过程没有兴趣的可以直接看结论。
如果 SQL 在执行过程中读到的数据无法直接得到结果，那么就需要额外的内存来保存中间结果，得出最终结果，这个额外的内存就是内部临时表。比如 group by 执行时，就需要构建一个临时表，需要额外的字段保存聚合函数的结果，当然为了防止内存使用过大，一般超出某个限制后就会放到磁盘上。关于哪些操作会产生内部临时表，可以查看官方文档：https://dev.mysql.com/doc/refman/8.0/en/internal-temporary-tables.html，下面主要介绍 MySQL 8.0 内部临时表存放方式的变化。
针对系统运行现状，建立性能基线。将业务指标与性能指标建立起对应关系。这里所说的性能指标包括CPU、MEM、DISK、NET等。在诸多资源中，肯定存在不均衡的情况，短板的资源最有可能成为业务增长后的瓶颈。在具体操作上，可首先确定一个业务高峰时间段，通过监控平台或监控工具收集系统各资源的使用情况。然后依据收集的信息，分析可能的性能短板在哪里。
什么是ELK STACK： ELK Stack是Elasticserach、Logstash、Kibana三种工具组合而成的一个栈。ELK可以将我们的系统日志、访问日志、运行日志、错误日志等进行统一收集、存储分析和搜索以及图形展现。相比传统的CTRL+F或者数据库语句来进行数据查询，ELK支持分布式搜搜，数据量可达PB级别，检索速度更快速，接近实时处理，并且更智能，可以去掉一些没有特殊含义的词汇，比如“这，的，是”，还可以进行搜索补全与搜索纠错（想想在百度搜索的情景） LogStash： 负责日志的收集，并且可以输出到指定位置，如Redis、kafka、以及最主要的ElasticSearch中，通常会在所有需要收集日志的服务器上安装Logstash，然后由Logstash agent端发送到Logstash的Server端 ElasticSearch： 使用JAVA开发、基于Lucene搜索引擎库的全文搜索工具，通过RESTful API（一种接口设计规范，让接口更易懂）隐藏了Lucene原本的复杂性。实现了日志数据的分布式、实时分析，并且可以进行搜索补全与纠错等功能，是ELK最核心的组件。相比MySQL库和表的概念，在ES中把库叫做索引。 Kibana： 负责数据的展示与统计，是一个图形化的管理系统 ElasticSearch概念与工作流程介： 索引（index）：文档的容器，是属性类似的文档集合，类似MySQL中的库或者表的概念，强烈建议同一类的数据放一个索引里 分片（shared）：Elasticsearch默认将创建的索引分为5个shard（也可以自定义），每一个shard都是一个独立完整的索引，然后分布在不同的节点上 节点：站在用户角度来看并没有主节点概念，每个节点对用户来说都是一样的，都会响应请求，但是对于集群来说，会有一个主节点用于管理节点状态以及决定shard分布方式，还会周期性检查其他节点是否可用并进行修复。各节点是通过集群名称来判断是否属于同一节点。 在Elasticsearch中将文档归属于一种类型type，而这些类型存在于索引index中。用MySQL来举例看看他们的对应关系： Database->Table->Row->Column Indice->Type->Document->Field 安装Elasticsearch： 1、ElasticSearch默认工作在集群模式下，扩展性很强，并且支持自动发现。所以在实验环境中需要至少2台服务器来搭建，但是为了防止脑裂，建立使用基数台服务器。在部署ElasticSearch前需要先部署JAVA环境，所以第一步是安装JDK，这里偷懒使用yum安装了openjdk，生产环境还是建议用JDK的源码包（暂时不支持JDK 9）。 yum install java-1.8.0-openjdk.x86_64 2、下载ElasticSearch，官网地址是www.elastic.co（不是com），其每个Products下都有专门的文档用于参考。 下载tar包解压，然后进入config目录，该目录下除了有一个主配置文件elasticsearch.yml需要配置外，还有一个jvm.options文件用于JVM的调优 tar zxf elasticsearch-6.3.tar.gz cd elasticsearch-6.3/config jvm.options文件主要是JVM优化相关，关于垃圾回收这块使用默认配置就可以了，我们要调整的就是最大内存和最小内存的设置。通常设置为一样大小，具体的值可以设置为系统最大内存的一半或三分之二 -Xms1g #程序启动时占用内存的大小 -Xmx1g #程序启动后最大可占用内存的大小 3、修改ElasticSearch的配置，编辑elasticsearch.yml cluster.name: my-application #集群名称，相同集群名称的节点会自动加入到该集群 node.name: r1 #节点名称，两个节点不能重复 path.data: /path/to/data #指定数据存储目录 path.logs: /path/to/logs #指定日志存储目录
案例是一个泰国网站的生产环境（请脑补一句“萨瓦迪卡”，为了叙述方便，下文中均以"萨瓦迪卡"指代这个网站。）“萨瓦迪卡”是一个 采用 Wordpress + MySQL搭建的应用。这个遗留系统已经工作了五年。客户已经把在其它 VPS 上平移到 AWS 上。平移（lift and shift）是说原样复制，而迁移（migration）还要进行改造。而客户唯一发挥 AWS 优势的一点就是用了一个配置很高的 EC2 虚拟机 —— m4.4xlarge。这样一台配置的虚拟机有 16 个虚拟 CPU，64 GiB 的内存，以及 2000 Mbps 的网络带宽，最高 3000 IOPS 的 200GiB 的块存储设备（也就是硬盘）。
每种数据库本身都有自身的特性,同时面临的业务不同,也会导致每种数据库需要进行调节,来满足某种业务的需求.
从SQL 语言, DB 和 开发人员之间对SQL的撰写的目的和本质的理解就有不同,一个是要以逻辑为基础满足业务需求即可,性能方面的需求这变得不是核心人物,而DB 人员则对SQL的撰写和优化作为一个核心的目的,性能是重要的,所以矛盾就产生了.
很多低内存的服务器比如1G或者更低的服务器，安装宝塔面板后发现经常内存爆满，很多用户误以为是宝塔占用较大的内存导致的问题，其实不然，宝塔本身占用的系统内存并不高的，大约70M左右的内存占用，以linux为例所以我们要如何优化降低服务器的内存消耗呢。
随着产品测试流程的不断完善，可以被稳定复现的问题被遗留到线上的情况越来越少，反而那些概率性问题的数量却逐渐升高，为此我们必须提供一种类似服务器压测那样的方案来发现移动端产品的概率性问题。
在迭代DNS查询中，每个DNS查询都使用一个地址直接响应客户端，以供另一个DNS服务器询问，并且客户端继续查询DNS服务器，直到其中一个使用给定域的正确IP地址进行响应为止。
假设MySQL同时接收到了多个请求，他自然会用多线程处理，那这多线程就可能会同时访问BP，即同时操作里面的缓存页，同时操作一个free链表、flush链表、lru链表。现在多线程来并发的访问这个BP，此时他们都是在访问内存里的一些共享数据结构，如缓存页、各种链表，必要加锁，然后让一个线程先完成一系列操作，比如说加载数据页到缓存页，更新free、lru链表，然后释放锁，接着下个线程再执行操作。
agentd需要安装到被监控的主机上，它负责定期收集各项数据，并发送到zabbix server端，zabbix server将数据存储到数据库中，zabbix web根据数据在前端进行展现和绘图。这里agentd收集数据分为主动和被动两种模式：
同样的mysql，同样的查询，为啥在不同的服务器上的查询效率差别有10几倍 继上一篇索引优化后，在自己的服务器上已经从10几秒优化到了2s，以为万事大吉了， 谁知道，同样的操作，在客户的服务器上优化后，还是比本机慢了10几倍 当然了，客户服务器上添加完索引后，相对之前已经快了不少，sql查询已经优化到了极点
MySQL 的各参数的值设置需根据操作系统硬件情况，操作系统参数情况及数据库其他参数情况而进行调整，本文将结合生成环境的异常情况介绍MySQL slave_pending_jobs_size_max参数调整实践。
Oracle Cloud 在2020年终于大张旗鼓的上线了推动，终于搞出来一个本地MySQL和线上MySQL大差异点云上HTAP MySQL方案：MySQL HeatWave。架构如下：
高并发内存池设计 高并发下传统方式的弊端 在传统C语言中，我们使用malloc、calloc、realloc、free来进行内存的申请分配与释放，函数原型如下。C++中则是new、delete。 void *malloc(size_t size); malloc在内存的动态存储区中分配了一块长度为size字节的连续区域返回该区域的首地址。 void *calloc(size_t nmemb, size_t size); 与malloc相似，参数size为申请地址的单位元素长度，nmem
首先，我是一个标题党^_^，写这样的标题就是为了吸引你们来看的。标题中说的磁盘临时表消失，并不是真的消失了，而是在MySQL默认配置下，从8.0.15到8.0.27的版本都不会产生磁盘临时表(8.0.15之前的版本没有做个测试，就不妄下结论了)，在8.0.28及之后的版本中，默认配置又放开了磁盘临时表(文章中未特殊说明时都指内部临时表，非用户创建临时表)的使用，这是什么情况？请容我慢慢道来。
传统的存储设备例如HDD，SSD，nvme，SAN LUNS等以blocks为单位提供存储功能。Block以字节为单位的可寻址存储单元。传统的硬盘的block大小是512字节。Newer设备通常是4K或者8K，但也可以选择逻辑/模拟的512字节的block。
2）MySQL具有MVCC（多版本并发控制）的功能，这些都是根据事务的特性来完成的。
松哥原创的 Spring Boot 视频教程已经杀青，感兴趣的小伙伴戳这里-->Spring Boot+Vue+微人事视频教程
大部分情况下，会杀掉导致OOM的进程，然后系统恢复。通常我们会添加对内存的监控报警，例如：当memory或swap使用超过90%时，触发报警通知，需要及时介入排查。
内存溢出在实际的生产环境中经常会遇到，比如，不断的将数据写入到一个集合中，出现了死循环，读取超大的文件等等，都可能会造成内存溢出。
edit scheme —>run debug —>在Memory Management区域将Eanble Guard Malloc设置为不选中
解压文件，就可以安装MySQL服务器，适用于新手快速搭建测试数据库。 MySQL的安装: 1.解压如图所示压缩包，放在一个文件夹中并修改文件夹名称，注意路径和名称不要携带中文
http://www.searchdoc.cn/rdbms/mysql/dev.mysql.com/doc/refman/5.7/en/index.com.coder114.cn.html
byte是有符号类型，最大为127，而logic可以被声明为无符号，最大可以达到255.
PHP获取服务器基本信息，免配置流程直接放到后台html即可输出到页面，灰常方便 只要直接复制粘贴就能显示对应信息哦 下面是PHP获取当前服务器信息的基本语句。 PHP程序版本： <?PHP e
内存溢出在日常工作中，这个错误很容易遇到。遇到内存溢出，首先我们需要快速定位内存溢出的环节(位置)，需要进行分析，看看是正常情况还是非正常情况。如果是正常情况，这个时候我们需要加大内存。如果是非正常情况，就需要对我们的程序进行修改，来修复这个问题。
具体数据需要我们从数据库中查询，因为我这边业务还未完成，所以显示的数据为：“该分组下没有参数”。
官方文档参见:http://klayge.sourceforge.net/html/font_in_klayge.html
Android App开发一般需要模拟器来测试程序的正确性，特别是对于那些爱惜真机的开发者来说。其创建方法也分两种：一是通过eclipse开发环境，二是通过命令行创建。这里主要介绍如何在eclipse上创建Android模拟器。 ##初识AVD AVD(Android Virtual Device)是什么？ 听听度娘说：
KVM的发展路线就是逐步从软件模拟到硬件辅助，内存虚拟化的本质就是实现客户机虚拟地址 (Guest Virtual Address, GVA) 到宿主机物理地址之间的转换， 其主要发展历程就是从最初的影子页表到硬件辅助实现的EPT/NPT页表，对于影子页表KVM需要为每个客户机的每个进程的页表都要维护一套相应的影子页表， 这会带来较大内存上的额外开销，此外，客户机页表和和影子页表的同步也比较复杂。 因此，Intel 的 EPT(Extent Page Table) 技术和 AMD 的 NPT(Nest Page Table) 技术都对内存虚拟化提供了硬件支持。
编辑/etc/my.cnf文件添加在[mysqld]版块下添加如下变量，添加后重启服务。
在不考虑缓存等机制（数据IO）的前提下,首先我们知道,对于用户来说他使用数据时,会和其内部的存储设备,一般为磁盘(当然也有固态之类的更高效的存储设备,但是数据库一般是部署在服务端,而服务端的主机或集群,考虑安全、可靠和成本等问题一般是使用磁盘)，交互寻找和提取对应的数据.
很多时候我们为了缩短单次请求的时间，就需要去分析请求在哪一步耗时比较大，一般越靠近应用层优化效果越大，后端程序就是请求到达路由解析到返回结果这一步骤了。
一、使用show variables 和show status 命令查看MySQL的服务器静态参数值和动态运行状态信息。 二、可以使用 mysqld --verbose --help|more 查看某个参数的定义。加上 grep 过滤。 三、key_buffer_size 用于MyISAM引擎的全局索引缓存。 四、table_cache 数据库用户打开表的缓存数量。可借助 open_tables(当前打开表的数量)来决策大小。 五、innodb_buffer_pool_size 定义了InnoDB存储引擎的
MySQL 8.0.28开始，新增一个特性，支持监控统计并限制各个连接（会话）的内存消耗，避免大量用户连接因为执行垃圾SQL消耗过多内存，造成可能被OOM kill的风险。
之前只运行 NGINX 和 FBG 棋盘游戏很稳定。接着使用 配置中心+注册中心+接口网关 取代了 NGINX，也没有出现问题。后来再加上 UAA 认证授权中心，就总是出问题。启动 UAA 之后，接口网关就挂了；再启动接口网关，UAA 就挂了，不知道什么原因。
在Spring Cloud项目中我们经常会用到Nacos，但如果只是在测试环境或者微服务数量相对比较少时，采用Nacos默认的JVM配置会浪费很多资源。特别是那些低配置用来研究的服务器。
自我介绍 根据结点求二叉树高度 快排最差的时间复杂度，快排的空间复杂度 快排稳定吗 堆排序 算法题：一圈猴子选大王 4g大文件，64m 内存，找到出现频率最大的5个 第一个项目 String不可变 HashMap插入过程 currentHashMap 和 hashMap 有什么区别 1.7之前都是分段锁，1.8后采用 synchronized 和 cas 保证线程安全 反射能够做一些什么事情 volatile 和 synchronized 简单介绍一下 Java中常见的线程同步方式 加锁、cas、 BIO、NIO的区别 spring框架的 IOC的好处 常用的MySQL 的语句优化 Explain 先来分析语句是否用到索引 设计表的时候从哪些角度去考虑 事务隔离级别，数据库这俩引擎的 索引 b+树的实现 MySQL的主从同步是如何实现的（全量同步、增量同步） redis 的基本数据类型，缓存击穿和缓存雪崩，哨兵和主从同步 有redis mysql 怎么设计查询服务架构 TCP如何保证连接和传输的可靠性，在网络情况比较差的情况下如何保证的可靠性 简单说几个http状态码 301 和 302 的区别，301代表永久性转移 302代表暂时性转移 平常开发用的linux多还是windows多 有个 32 位系统，利用的最大内存是多少即最大的寻址范围 在linux 下进程都有哪些状态 linux 怎么杀掉一个进程 kill -9 和 kill 有什么区别 -9 是强制性的意思 为什么 kill 可能会出现杀不掉的情况，kill -9 和 kill 的区别在于发的信号不一样 我想查看日志的后十行 le 我想看日志的实时刷新的怎么看 tail，加参数吗 查看处于 time_wait 、established 的 tcp 数量怎么看，netstat -t 这个 -t 就是 tcp
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
实时音视频
