groupadd 命令用于创建一个新的工作组，新工作组的信息将被添加到系统文件中。
我们知道，mysql是持久化存储，存放在磁盘里面，检索的话，会涉及到一定的IO，为了解决这个瓶颈，于是出现了缓存，比如现在用的最多的 memcached(简称mc)。首先，用户访问mc，如果未命中，就去访问mysql，之后像内存和硬盘一样，把数据复制到mc一部分。
可以看出buff/cache占用的内存份额很大，有时候程序运行结束后，大量内存仍位于buff/cache中，有时运行程序会导致内存不足，因此需要将这部分内存释放出来。
1、用户态与内核态 ⽤户态和内核态是操作系统的两种运⾏状态。 （1）内核态：处于内核态的CPU可以访问任意的数据，包括外围设备，⽐如⽹卡、硬盘等，处于内核态的 CPU 可以从⼀个程序切换到另外⼀个程序，并且占⽤ CPU 不会发⽣抢占情况，⼀般处于特权级 0 的状态我们称之为内核态。 （2）⽤户态：处于⽤户态的CPU只能受限的访问内存，并且不允许访问外围设备，⽤户态下的 CPU 不允许独占，也就是说 CPU 能够被其他程序获取。
关于大数据面试中对Spark的知识考查不需本菌多解释什么了吧~本篇博客，博主为大家分享20个Spark热门技术点，希望今年出去面试，实习的同学，尤其是想去大厂的同学，一定要把下面的20个技术点看完。
本文转载自https://0xffffff.org/2017/05/01/41-linux-io/
问: 以下几种方式测试磁盘读写速度有什么区别？ dd bs=1M count=128 if=/dev/zero of=test dd bs=1M count=128 if=/dev/zero of=test; sync dd bs=1M count=128 if=/dev/zero of=test conv=fdatasync dd bs=1M count=128 if=/dev/zero of=test oflag=dsync 答：区别在于内存中写
提到唯一索引和普通索引，相信大家都不陌生，当同事小姐姐问你这俩有什么区别时？或许你会脱口而出：“这还用问？见名知意啊，一个是允许字段重复，一个不允许存在重复数据！”
在 MySQL 中，Temporary Table（临时表）和 Memory Table（内存表）是两种不同的表类型，它们有一些重要的区别和用途。
查询流程，我们是不是再研究下更新流程、插入流程和删除流程？ 一条查询sql的完整执行流程（从连接到引擎，穿插涉及到的知识，超详细） 在数据库里面，我们说的update操作其实包括了更新、插入和删除。如果大家有看过MyBatis的源码，应该知道Executor里面也只有doQuery()和doUpdate。的方法， 没有 doDelete()和 dolnsert()。 更新流程和查询流程有什么不同呢？ 取到数据前和查询的基本流程也是一致的，也就是说，它也要经过解析器、优化器的处理，最后交给执行器。 区别就在于拿到符合条件的数据之后的操作。 但是，要学习更新的执行流程，我们需要先知道以下几个名词的含义： 贴图镇此博客（
在 Linux 系统（比如 CentOS/RadHat、Debian/Ubuntu）上配置 lnmp环境，通过探针查看物理内存使用率：
原文链接:https://rumenz.com/rumenbiji/linux-free.html
原文链接:https://rumenz.com/rumenbiji/linux-free.html 微信公众号:入门小站
Linux free命令查询剩余可用内存的最常用命令，其中 buffer 与 cache 有何区别呢？ 米扑博客，专门总结了一篇博客《Linux free命令：buffer 与 cache 区别》，分享到CSDN 更多经典技术博客，请见我的米扑博客：https://blog.mimvp.com free 命令 free 命令相对于top 提供了更简洁的查看系统内存使用情况 123456789101112131415161718192021 homer@homer-pc:~$ free --help Usag
最近在极客时间看丁奇大佬的《MySQL45讲》，真心觉得讲的不错，把其中获得的一些MySQL方向的经验整理整理分享给大家，有兴趣同学可以购买相关课程进行学习。
查询语句会在k索引树上的树根开始，按层搜索到叶子节点（点位到右下角的数据页），然后在数据页内部再通过二分法定位记录。
在MySQL中，Redo Log（重做日志）是InnoDB存储引擎用来确保事务的ACID特性中的持久性(Durability)。它记录了可能对数据页(在内存中的数据)进行修改的所有操作。即使数据库发生故障，使用Redo Log也可以保证数据不会丢失。
IO子系统一般是linux系统中最慢的部分。一个原因是它距离CPU的距离，另一个原因是它的物理结构。访问磁盘的时间与访问内存的时间是7天与7分钟的区别。linux kernel要尽量减少磁盘IO。 1.Reading and Writing Data linux内核以page为单位访问磁盘IO，一般为4K。 查看页大小：/usr/bin/time -v date Page size (bytes): 4096 2.Major and Minor Page Faul
No.21期 磁盘算法概述 Mr. 王：现在我们谈谈磁盘算法的问题。根据你的了解，跟我说说计算机中都采用了哪些种类的存储器？ 小可：这个我还是略知一二的。计算机中有很多用来存储数据的存储器，比如寄存器、缓存（Cache）、内存和硬盘等。 Mr. 王：这些存储结构都有什么特点呢？ 小可：寄存器、缓存和内存都是需要依靠电来维持其所存储的数据的，而磁盘可以在断电的情况下保存数据。数据是存储在磁性介质上的。 Mr. 王：它们的速度、容量和价格又如何呢？ 小可：它们的容量是依次变大的，但访问速度却是越来越慢
rom dist cache和from memory cache均是浏览器缓存的一种形式，但两者却有很大的区别
c语言libc库自带的fflush和linux的sync、fsync、fdatasync，字面上都是刷新缓冲区数据到磁盘（当然，fflush还可以刷新缓冲区数据到标准输入、输出以及错误输出）。下面就分析一下上面提到的四个函数的区别。 一、c语言fflush和linux的sync、fsync、fdatasync的区别 1.接口基本不同 fflush是libc库中提供的函数，平台无关，只有在你使用到c语言的标准文件（FILE）操作时，才涉及fflush。 sync、fsync、fdatasync是系统提
Redis 是一个开源的内存中的数据结构存储系统，它可以用作数据库、缓存和消息中间件。
例如我们的应用程序需要从磁盘读取某个文件的数据，此时并不是直接从磁盘加载到应用内存中，而是：
这是一条很简单的更新SQL，从MySQL服务端接收到SQL到落盘，先后经过了MySQL Server层和InnoDB存储引擎。
由于CPU和内存的速度远远高于外设的速度，所以，在IO编程中，就存在速度严重不匹配的问题。举个例子来说，比如要把100M的数据写入磁盘，CPU输出100M的数据只需要0.01秒，可是磁盘要接收这100M数据可能需要10秒，怎么办呢？有两种办法：
在查找的过程中，找到第一个满足 k=5的记录后，需要查询下一个记录，知道遇到第一个不满足k=5的记录。
我们大家知道，计算机的五大基础部件是 存储器、控制器、运算器、输入和输出设备，其中从存储功能的角度来看，可以把存储器分为内存和 磁盘，内存我们上面的文章已经介绍过了，那么此篇文章我们来介绍一下磁盘以及内存和磁盘的关系。
前言：在进入Linux进阶知识之前，我们还需理解最后一点知识，先认识理解冯诺依曼体系结构，再认识理解操作系统定位这样才能更好的理解后面的知识
简单来说 Redis 就是一个使用 C 语言开发的数据库，不过与传统数据库不同的是 Redis 的数据是存在内存中的 ，也就是它是内存数据库，所以读写速度非常快，因此 Redis 被广泛应用于缓存方向。Redis 除了做缓存之外，Redis 也经常用来做分布式锁，甚至是消息队列。
4.1 缓存与速度 这里所说的动态内容缓存是自行实现的缓存机制，包括整页缓存、局部缓存、数据缓存等。 缓存的目的是把花费昂贵开销的计算结果保存起来，以后需要的时候直接取出，避免重复的计算，一切缓存的本质都是如此。 CPU缓存是位于CPU和内存之间的临时寄存器，它的容量不大，但交换速度高于内存，CPU把频繁交换的数据放在缓存中，以后需要的时候直接从缓存中读出，从而避免访问速度较慢的内存。 缓冲(Buffer)的目的在于改善各部件速度不匹配的问题。例如：用户态空间的数据写入磁盘时
接上篇，写这俩篇文章的起因主要是最近复习计网滑动窗口中看到的一句话 “窗口的本质是内核缓冲区”，之前一直没有仔细去理解，以为就是缓存，很多博客写得也是缓存......，But 缓冲和缓存在概念上其实是有区别的，上篇文章已经详细解释过了缓冲与缓存的区别，本文就来进一步介绍内核缓冲区
Shuffle 过程 上一章里讨论了 job 的物理执行图，也讨论了流入 RDD 中的 records 是怎么被 compute() 后流到后续 RDD 的，同时也分析了 task 是怎么产生 result，以及 result 怎么被收集后计算出最终结果的。然而，我们还没有讨论数据是怎么通过 ShuffleDependency 流向下一个 stage 的？ 对比 Hadoop MapReduce 和 Spark 的 Shuffle 过程 如果熟悉 Hadoop MapReduce 中的 shuffle 过程
内存基础概念 先执行一下 top 命令，看结果中关于内存的相关部分 # top 其中的 VIRT、RES、SWAP 都是什么呢？ 分别是下面的3个概念 物理内存 Resident - RES
最近在选笔记本，然后涉及到是使用3G（1+2）内存还是4G（2+2）的问题。因为微软的Windows系列的操作系统，包括Windows 9x、Windows 2000、Windows XP、Vista以及最新的Windows 7等32位操作系统都只能支持3.2G左右的内存。如果我们物理内存达到4G的话，那么就有800M的内存处于是没有被系统识别，是纯属浪费。但4G内存可以组成双通道，带宽加倍，更重要的是今后不用再怕内存升级的烦恼了。
最近在项目中使用到Redis做缓存，方便多个业务进程之间共享数据。由于Redis的数据都存放在内存中，如果没有配置持久化，redis重启后数据就全丢失了，于是需要开启redis的持久化功能，将数据保存到磁盘上，当redis重启后，可以从磁盘中恢复数据。redis提供两种方式进行持久化，一种是RDB持久化（原理是将Reids在内存中的数据库记录定时dump到磁盘上的RDB持久化），另外一种是AOF持久化（原理是将Reids的操作日志以追加的方式写入文件）。那么这两种持久化方式有什么区别呢，改如何选择呢？网上看了大多数都是介绍这两种方式怎么配置，怎么使用，就是没有介绍二者的区别，在什么应用场景下使用。 2、二者的区别
文件，在Linux中一切皆文件，普通的文件和目录、块设备、管道和Socket都是交给文件系统管理。
索引是什么？为什么要有mysql 索引，解决了什么问题，其底层的原理是什么？为什么使用B+树做为解决方案？用其他的像哈希索引或者B树不行吗？
最近在项目中使用到Redis做缓存，方便多个业务进程之间共享数据。由于Redis的数据都存放在内存中，如果没有配置持久化，redis重启后数据就全丢失了，于是需要开启redis的持久化功能，将数据保存到磁盘上，当redis重启后，可以从磁盘中恢复数据。redis提供两种方式进行持久化，一种是RDB持久化（原理是将Reids在内存中的数据库记录定时dump到磁盘上的RDB持久化），另外一种是AOF持久化（原理是将Reids的操作日志以追加的方式写入文件）。那么这两种持久化方式有什么区别呢，改如何选择呢？网上看了大多数都是介绍这两种方式怎么配置，怎么使用，就是没有介绍二者的区别，在什么应用场景下使用。
在Windows下资源管理器查看内存使用的情况，如果使用率达到80%以上，再运行大程序就能感觉到系统不流畅了，因为在内存紧缺的情况下使用交换分区，频繁地从磁盘上换入换出页会极大地影响系统的性能。而当我
项目中使用leveldb做为存储，使用过一段时间后，对leveldb进行一个深入的学习，让录本人学习过程中理解。过程中参照网上文章以经实际应用，进行文章输出，如果错漏，还望指正。
首先，索引（Index）是什么？如果我直接告诉你索引是数据库管理系统中的一个有序的数据结构，你可能会有点懵逼。
MySQL系列会通过引擎、索引、事务、锁来说明，这篇文章讲讲基本的概念和引擎的区别。
这里我们使用术语“缓冲”(一般为buffer)来表示对数据写的暂存，使用术语“缓存”(一般为cache)来表示对数据读的暂存。顾名思义，由于底层存储设备和内存之间速率的差异，缓冲是用来暂“缓”对底层存储设备IO的“冲”击。缓存主要是在内存中暂“存”从磁盘读到的数据，以便接下来对这些数据的访问不用再次访问慢速的底层存储设备。
1. RabbitMQ 持久化机制 ---- RabbitMQ 的持久化分为队列持久化、消息持久化和交换器持久化。 不管是持久化的消息还是非持久化的消息都可以被写入到磁盘。区别在于重启之后数据还在
我们都知道当查询数据库变慢时，需要建索引去优化。但是只知道索引能优化显然是不够的，我们更应该知道索引的原理，因为不是加了索引就一定会提升性能。那么接下来就一起探索MYSQL索引的原理吧。
在Windows下资源管理器查看内存使用的情况，如果使用率达到80%以上，再运行大程序就能感觉到系统不流畅了，因为在内存紧缺的情况下使用交换分区，频繁地从磁盘上换入换出页会极大地影响系统的性能。
Spark有以下四种部署方式，分别是：Local，Standalone，Yarn，Mesos
FTL表如此重要，没了它，整个SSD/SD卡就没法工作了。如果在FTL写回Flash之前，还在内存的时候，忽然没电了，内存数据丢失，FTL表也就丢失了。有鉴于此，高端SSD和服务器SSD都加上了电容，来作为应急供电方案，让SSD控制器有时间把内存中的FTL表和一些缓存内容存到Flash上
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
