文章目录 转自链接：《CSDN》 线程名称 描述 /sbin/init 内核启动的第一个用户级进程,引导用户空间服务 [kthreadd] 内核线程管理 [migration/0] 用于进程在不同的CPU间迁移 [ksoftirqd/0] 内核调度/管理第0个CPU软中断的守护进程 [migration/1] 管理多核心 [ksoftirqd/1] 内核调度/管理第1个CPU软中断的守护进程 [events/0] 处理内核事件守护进程 [events/1] 处理内核事件守护进程 [cpuset] 在每个
实际上，零拷贝是有广义和狭义之分，目前我们通常听到的零拷贝，包括上面这个定义减少不必要的拷贝次数都是广义上的零拷贝。其实了解到这点就足够了。
转载随意，文章会持续修订，请注明来源地址：https://zhenbianshu.github.io 。
Mysql错误日志： Version: '5.1.34-percona-highperf-log' socket: '/home/mysql/mysql.sock' port: 3306 Source distribution 140324 5:00:02 InnoDB: Failed to set O_DIRECT on file /tmp/#sql593e_191_0.ibd: CREATE: Invalid argument, continuing anyway 140324 5:
无论 kafka 作为 MQ 也好，作为存储层也罢，无非就是两个功能（好简单的样子），一是 Producer 生产的数据存到 broker，二是 Consumer 从 broker 读取数据。那 Kafka 的快也就体现在读写两个方面了，下面我们就聊聊 Kafka 快的原因。
缓冲区作为一块内存区域，提供了一个临时存储数据的空间，帮助程序高效地处理输入和输出
Kafka的消息是保存或缓存在磁盘上的，一般认为在磁盘上读写数据是会降低性能的，因为寻址会比较消耗时间，但是实际上，Kafka的特性之一就是高吞吐率。
用kafka做存储层，为什么呢？一大堆可以做数据存储的 MySQL、MongoDB、HDFS……
“老王，Java IO 也太上头了吧？”新兵蛋子小二向头顶很凉快的老王抱怨道，“你瞧，我就按照传输方式对 IO 进行了一个简单的分类，就能搞出来这么多的玩意！”
本文为joshua317原创文章,转载请注明：转载自joshua317博客 https://www.joshua317.com/article/172
Bbuffer 与 Cache 非常类似，因为它们都用于存储数据数据，被应用层读取字节数据。在很多场合它们有着相同的概念:
注意 : 调用 write 方法并不是将数据写出到文件中 , 而是暂时缓存到文件的缓冲区中 ;
File类，文件和目录的抽象表示，创建，删除，获取，判断，遍历，大小。在使用过程中特别注意大小写对文件的影响或者一些异常。 pathSeparator路径分割符（静态成员变量）等，用于兼容各种路径分隔符在不同操作系统下。路径添加转义符号\\。 构造方法传入路径获取该文件或文件夹（无所谓存在与否），获取对象。传入父路径和子路径，获取文件或文件夹。构造方法传入文件对象父路径和子路径。 getAbsolutePath方法，getPath方法，getName方法，length方法获取文件大小（字节为单位）。list方法获取所有子文件和目录（String数组），listFiles方法获取文件和目录（File数组） exists判断文件或文件夹存在性，isDirectory是目录，isFile是文件。createNewFile创建空文件，delete删除文件或目录，mkdir创建单级文件夹，mkdirs创建多级文件夹。 listFiles方法传入过滤器 FileFilter用于过滤文件（File）的接口，其中的accept方法，用于测试路径名是否包含。自定义过滤器。 FilenameFilter用于过滤文件名接口，其中accept方法，测试文件名是否包含在列表中。
“ hdparm ”（即硬盘参数）是Linux的命令行程序之一，用于处理磁盘设备和硬盘。借助此命令，您可以获得有关硬盘，更改写入间隔，声学管理和DMA设置的统计信息。它还可以设置与驱动器高速缓存，睡眠模式，电源管理，声学管理和DMA设置相关的参数。
1.DEFAULT_STORAGE_ENGINE 如果你已经在用MySQL 5.6或者5.7，并且你的数据表都是InnoDB，那么表示你已经设置好了。如果没有，确保把你的表转换为InnoDB并且设置default_storage_engine为InnoDB。 为什么？简而言之，因为InnoDB是MySQL(包括Percona Server和MariaDB)最好的存储引擎 – 它支持事务，高并发，有着非常好的性能表现(当配置正确时)。 2.INNODB_BUFFER_POOL_SIZE 这个是InnoDB最
MYSQL 应该是最流行了 WEB 后端数据库。虽然 NOSQL 最近越來越多的被提到，但是相信大部分架构师还是会选择 MYSQL 来做数据存储。本文作者总结梳理MySQL性能调优的15个重要变量，又不足需要补充的还望大佬指出。
这里我们使用术语“缓冲”(一般为buffer)来表示对数据写的暂存，使用术语“缓存”(一般为cache)来表示对数据读的暂存。顾名思义，由于底层存储设备和内存之间速率的差异，缓冲是用来暂“缓”对底层存储设备IO的“冲”击。缓存主要是在内存中暂“存”从磁盘读到的数据，以便接下来对这些数据的访问不用再次访问慢速的底层存储设备。
skip-inodb 不加载INODB数据引擎驱动，如果项目不使用INNODB引擎，可以关闭，以节省系统内存 innodb-file-per-table 设置以后，为每个新数据表分别创建一个表空间tablespace文件，默认情况下都放在一个文件里，这样有弊端，以后我在自己博文中将单独对这个地方进行说明。 innodb_buffer_pool_size innodb的缓冲区大小，用来存放数据和索引,Innodb在线的文档表示要设置为机器内存的50%-80%来做这个缓冲区！ 这个可以说是Innodb引擎下配置选项中最关键的参数选项了，对性能的影响也是最大的。 innodb_log_buffer_size InnoDB事务日志文件缓冲区大小，默认8M innodb_flush_method Innodb日志文件同步刷新的方法，取值有两个 fdatasync ,O_DSYNC,只是Uinx和linux系统下两个不同的调用函数区别。 innodb_additional_mem_pool_size innodb用于内部管理的各种数据结果分配的缓冲区大小，默认1M innodb_data_home_dir InnoDB数据文件的主目录 innodb_data_file_path Innodb 数据文件配置方式 innodb_log_files_in_group Innodb使用多少个日志文件，默认2 innodb_log_file_size Innodb日志文件最大限制尺寸，默认5M innodb_lock_wait_timeout 等待数据锁的超时时间，可以避免死锁，超过这个时间没有获取结果，就ROOLBACK回滚放弃。 innodb_flush_log_at_trx_commit Innodb日志提交的方式，0，1，2可供取值，0表示每间隔一秒就写一次日志并进行同步，减少了硬盘写操作次数，可以提高性能，1表示每执行完COMMIT就写一次日志并进行同步，默认值，2表示每执行完一次COMMIT写一次日志，每间隔一秒进行一次同步，这个参数在Innodb里同样是关键参数，对性能影响较大。 innodb_force_recovery 在Innodb的自动恢复失败后，从Crash中强制启动
打开文件时，需要指定文件路径和以何等方式打开文件，打开后，即可获取该文件句柄，日后通过此文件句柄对该文件操作。
innodb_buffer_pool_size 如果用Innodb，那么这是一个重要变量。相对于MyISAM来说，Innodb对于buffer size更敏感。MySIAM可能对于大数据量使用默认的key_buffer_size也还好，但Innodb在大数据量时用默认值就感觉在爬了。 Innodb的缓冲池会缓存数据和索引，所以不需要给系统的缓存留空间，如果只用Innodb，可以把这个值设为内存的70%-80%。和 key_buffer相同，如果数据量比较小也不怎么增加，那么不要把这个值设太高也可以提高内存的使用率。
文件的打开 open(name,mode,encoding) name表示打开的文件名 mode表示打开的模式,比如只读,写入,追加等,r表示只读,W表示写入,s文件追加,a+表示读写 encoding表示文件的编码 注意：多次调用未关闭则会从上次的读取位置开始再次读取 读取示例：
我们知道外设访问内存需要通过DMA进行数据搬移，关于cpu, cache, device, dma, memory的关系可以通过下图说明：
该文章主要从多个方面介绍了TokuDB的写入性能和存储压缩比，包括使用TokuDB存储引擎的MySQL数据库、压测工具、不同压缩算法、不同配置文件以及不同线程数等多个方面。通过对比测试，得出了在大多数情况下，TokuDB的写入性能和存储压缩比都优于InnoDB。同时，也指出了TokuDB在成熟度方面还有待提高，需要持续关注其后续进展。
Linux2.6版本中引入了工作队列概念，代替Linux2.4版本中的任务队列。用以实现注册激活某些函数，留待稍后由工作线程执行（与tasklet的处理类似）。
根据官方文档+看源码+实验总结出来的ES各种提交的作用与原理(对应版本7.2.0).
1. 函数功能打开一个文件，返回一个文件读写对象，然后可以对文件进行相应读写操作。
相关文章系统监控Prometheus安装和基本配置 系统CUP,内存,硬盘监控之node_exporter安装配置
sync shutdown reboot init sync 英文原意：flush file system buffers 功能：刷新文件系统缓冲区，将内存中的数据保存到硬盘中 语法：sync shutdown 英文原意：bring the system down 功能：关机和重启 语法：shutdown 选项[-chr] 时间 [警告信息] shutdown -c 取消已经执行的shutdown命令 shutdown -h 关机 shutdown -h now 现在关机 shutdow
原文：https://www.enmotech.com/web/detail/1/784/1.html
在网上看了一篇外文文章，里面介绍了提高Lucene索引速度的技巧，分享给大家。
本期和大家聊的是刚刚在2月份拿到FAST 2018最佳论文奖的一篇文章。它讨论了实现一种支持保序IO操作的设备会带来哪些好处，目前的Linux内核里处理FLUSH、FUA的方式可以参见 https://lwn.net/Articles/400541/ ，本文大部分内容来自于 blog.acolyer.org ，图表来自于论文原文。
一般情况下,redis占用内存超过20GB以上的时候，必须考虑主从多redis实例进行数据同步和备份保证可用性。
墨墨导读：Checkpoint是数据库中重要的概念，无论在Oracle，MySQL这个概念，它主要功能是在检查点时刻，脏数据全部刷新到磁盘，以实现数据的一致性和完整性。PostgreSQL为什么要设计Checkpoint呢？跟Oracle一样，其主要目的是缩短崩溃恢复时间。PostgreSQL在崩溃恢复时会以最近的Checkpoint为基础，不断应用这之后的WAL日志。下面我们就从Oracle的角度去学习下PostgreSQL的Checkpoint。
LAMP这个词的由来最早始于德国杂志“c't Magazine”，Michael Kunze在1990年最先把这些项目组合在一起创造了LAMP的缩写字。这些组件虽然并不是开开始就设计为一起使用的，但是，这些开源软件都可以很方便 的随时获得并免费获得。这就导致了这些组件经常在一起使用。在过去的几年里，这些组件的兼容性不断完善，在一起的应用情形变得非常普便。为了改善不同组件 之间的协作，已经创建了某些扩展功能。目前，几乎在所有的Linux发布版中都默认包含了“LAMP stack”的产品。这些产品组成
HLog概述 hbase在写入数据之前会先写入MemStore，成功了再写入HLog，当MemStore的数据丢失的时候，还可以用HLog的数据来进行恢复，下面先看看HLog的图。 旧版的HLog是实
总所周知 ， innodb 的日志是二阶段提交的，redolog 先在 prepare 阶段写入， binlog 再写入，最后 redolog commit
对于这个技术点不知道大家掌握的如何了，消息队列现在应该是公司必备的技能之一了，无论是RabbitMQ还是rocketmq，或者支持大数量的kafka
回望整个过年期间真的是躺的平平的，每天学习的时间和平时比起来差的不是一星半点。今天就复工了，也要收心了。我这个人有一个比较牛逼的能力就是状态调整特别快，只需要往工位上一坐下，我就能进入复工状态了。
HBase集群一旦部署使用，再想对其作出调整需要付出惨痛代价，所以如何部署HBase集群是使用的第一个关键步骤。
linux使用page cache来缓存最近读取的文件，也有目录结构(dcache: Directory Entry Cache)缓存及inode缓存，它们都使用了LRU算法来管理这些page及dentries cache
在专栏之前的几篇文章中，我们总结了缓冲池，缓存页，redo log，undo log，以及数据页和数据行在底层是如何进行存储的，后续介绍了表空间，段，区等概念。这一节比较特殊，讲述的是和Linux有关的交互原理，因为多数的mysql都是部署在linux的服务器上面，本节会简单介绍一下linux是如何处理mysql的请求的，以及linux系统会带来哪些问题
文件是计算机中用于存储数据的一种数据结构。它可以是文本文件、图像文件、音频文件、视频文件等等。文件由一系列字节组成，每个字节都有一个唯一的地址。文件可以在计算机的硬盘、固态硬盘、光盘等存储介质上存储，并且可以在需要时被读取和写入。文件通常有一个文件名和一个扩展名来标识其类型和内容。文件名是文件的主要标识符，而扩展名则指示文件的类型。例如，一个名为"document.txt"的文件，文件名是"document"，扩展名是"txt"，表示这是一个文本文件。文件可以被组织成文件夹（也称为目录）的层次结构。文件夹可以包含其他文件夹和文件，这样就形成了一个文件系统。文件系统使得我们可以方便地组织和管理大量的文件。通过文件操作，我们可以打开、创建、读取、写入、复制、移动、删除等等。文件操作是计算机程序中常见的操作之一，它使得程序能够与外部存储设备进行交互，并处理和管理数据。
「 原谅和忘记就意味着扔掉了我们获得的最贵经验 -------《人生的智慧》叔本华」
今天发现突然有一台主机无缘无故死机了，于是翻看了/var/log/message日志，发现提示： echo 0 > /proc/sys/kernel/hung_task_timeout_secs;
本文只想从作者本身的认识来谈谈 kafka 为什么会这么快？ 我们都知道 kafka 是基于磁盘的， 但是他的存储和读取速度确是非常的快的。 阅读本文前，你可能需要基本了解 kafka 使用 和 架构。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
