无论 kafka 作为 MQ 也好，作为存储层也罢，无非就是两个功能（好简单的样子），一是 Producer 生产的数据存到 broker，二是 Consumer 从 broker 读取数据。那 Kafka 的快也就体现在读写两个方面了，下面我们就聊聊 Kafka 快的原因。
top是一个常用的性能监控工具，可以用来实时查看系统资源的使用情况，包括CPU、内存、进程等信息，是Linux系统中常用的一种命令行工具。通过top可以查看系统当前的状态，并且可以对各种系统资源进行监控和管理。
先来认识 CPU 的架构，只有理解了 CPU 的 架构，才能更好地理解 CPU 是如何读写数据的，对于现代 CPU 的架构图如下：
Linux kernel 2.2之前，（如图）读写数据基本都是使用read系统调用和write系调用，以nginx来说如果一个请求建立，从磁盘的文件到网络连接之间会通过硬件（DMA）---内核层---用户层多次读写系统来完成文件数据的复制传输：从内核层用read系统调用读到用户层，再从用户层用write系统调用写到内核层，每一次用户层到内核层的进行一次上下文转换，这种代价是非常昂贵的。甚至在没有数据变化时这种复制尤其显得多余。如果nginx接受大量并发请求，这种系统调用就会非常频繁，服务器的性能就会下降。
在Linux kernel2.2 版本之后出现了一种叫做 "零拷贝(zero-copy)" 系统调用机制，目前很多应用服务器如 apache、nginx都支持，此机制很好的提高了服务器的性能 "零拷贝"是由 sendfile 系统调用实现的 "零拷贝"出现之前，读写数据基本都是使用 read系统调用 和 write系调用 以web服务来说，一个请求建立，从磁盘文件到网络连接之间，会通过 硬件 -> 内核层 -> 用户层 多次读写系统来完成文件数据的复制传输 从内核层用 read系统调用 读到用户层，再从用户
最近在读一本<<软件架构设计:大型网站技术架构与业务融合之道>>,它就像是把你平时一点点积累的知识有条理且有深度的整合。一步一步的将读者断断续续的知识接起来。以下文章是记录书本中的一些知识并加以拓展。
我们知道，直接从物理内存读写数据要比从硬盘读写数据要快的多，因此，我们希望所有数据的读取和写入都在内存完成，而内存是有限的，这样就引出了物理内存与虚拟内存的概念。
本文介绍linux内存机制、虚拟内存swap、buffer/cache释放等原理及实操。
在计算机出现之前其实就有文件系统的概念了，此时的文件系统指的是用于管理（存储和检索）纸质文件的系统，而在计算机发明之后，文件系统逐渐指的是管理存储介质的系统，它通过简单的接口给用户，方便用户使用存储设备。
内存管理是Linux系统重要的组成部分。为了解决内存紧缺的问题，Linux引入了虚拟内存的概念。为了解决快速存取，引入了缓存机制、交换机制等。
最近一位小伙伴去某滴面试，在第二面的时候遇到了这个问题：说”请你简单说一下，Kafka为什么这么快？“，然后，这位小伙伴努力在大脑里检索了很久，没有回答上来。
Linux系统中一切皆文件，仔细想一下Linux系统的很多活动无外乎读操作和写操作，零拷贝就是为了提高读写性能而出现的。
我们知道，直接从物理内存读写数据要比从硬盘读写数据要快的多，因此，我们希望所有数据的读取和写入都在内存完成，而内存是有限的，这样就引出了物理内存与虚拟内存的概念。 物理内存就是系统硬件提供的内存大小，是真正的内存，相对于物理内存，在linux下还有一个虚拟内存的概念，虚拟内存就是为了满足物理内存的不足而提出的策略，它是利用磁盘空间虚拟出的一块逻辑内存，用作虚拟内存的磁盘空间被称为交换空间（Swap Space）。 作为物理内存的扩展，linux会在物理内存不足时，使用交换分区的虚拟内存，更详细的说，就是内核会将暂时不用的内存块信息写到交换空间，这样以来，物理内存得到了释放，这块内存就可以用于其它目的，当需要用到原始的内容时，这些信息会被重新从交换空间读入物理内存。 Linux的内存管理采取的是分页存取机制，为了保证物理内存能得到充分的利用，内核会在适当的时候将物理内存中不经常使用的数据块自动交换到虚拟内存中，而将经常使用的信息保留到物理内存。
像大白这种调包侠，深知不懂底层技术点就如同空中楼阁，再这样下去面阿里p10是没希望了。
所谓锁的策略就是指如何实现锁。Java、MySQL、Go、C++等等都有类似的锁策略。
SD0~15: 16位数据线,有CMD引脚决定访问类型 CMD: 命令线,当CMD为高,表示SD 传输的是数据,CMD为低表示传输的是地址 INT: 中断引脚,接在2440的GPF7脚上 IOR#: 读引脚,接在2440的nOE脚上 IOW#: 写引脚,接在2440的nWE脚上 CS#: 片选,放在2440的bank4的片选上面
(2). 通道(Channel)就是源位置与目标位置之间打开的连接，数据传输的通路。
在上一篇文章里我们介绍了 tomcat io 主要包含那些 items，在这里我们主要介绍tomcat io 的基础-多路复用。tomcat 服务器(tomcat7以上)默认使用 java NIO 模型，NIO 不仅仅需要 java 语言上的支持，同时还离不开各种操作系统对于多路复用的支持(linux，windows，mac 等等)，所以 tomcat的NIO 是建立在操作系统基础之上的。
vmstat是Virtual Meomory Statistics（虚拟内存统计）的缩写，可对操作系统的虚拟内存、进程、CPU活动进行监控。是对系统的整体情况进行统计，不足之处是无法对某个进程进行深入分析。
因为项目需要，接触和使用了Netty，Netty是高性能NIO通信框架，在业界拥有很好的口碑，但知其然不知其所以然。
我们知道外设访问内存需要通过DMA进行数据搬移，关于cpu, cache, device, dma, memory的关系可以通过下图说明：
当调用一次 channel.read 或 stream.read 后，会切换至操作系统内核态来完成真正数据读取，而读取又分为两个阶段，分别为：
上一篇所说的micr-batch 其实主要是针对producer 来实现的，Kafka整体吞吐量高可不只是依赖于micr-batch这一点，还有broker端及consumer端。
我一直在想是从上往下讲Binder架构，还是从下往上讲，最后还是决定从下往上讲，那我们先来聊聊Binder驱动，这里不和你讲太多的源码，比如用户空间拷贝数据到内核空间具体实现，Binder线程池的具体实现。我们从宏观角度来分析一下Binder驱动要怎么设计。
前言的前言 服务器模型涉及到线程模式和IO模式，搞清楚这些就能针对各种场景有的放矢。该系列分成三部分： 单线程/多线程阻塞I/O模型 单线程非阻塞I/O模型 多线程非阻塞I/O模型，Reactor及其改进 前言 这里探讨的服务器模型主要指的是服务器端对I/O的处理模型。从不同维度可以有不同的分类，这里从I/O的阻塞与非阻塞、I/O处理的单线程与多线程角度探讨服务器模型。 对于I/O，可以分成阻塞I/O与非阻塞I/O两大类型。阻塞I/O在做I/O读写操作时会使当前线程进入阻塞状态，而非阻塞I/O则
上一篇文章大概介绍了I/O的一些基本原理和技术，这篇我们主要介绍基于Linux系统的I/O的一些运行原理、监控方式。
介绍 Sunxi 平台上 TWI 驱动接口与调试方法，为 TWI 模块开发提供参考。
这一期我们来看一下有哪些办法可以减少linux下的文件碎片。主要是针对磁盘长期满负荷运转的使用场景（例如http代理服务器）；另外有一个小技巧，针对互联网图片服务器，可以将io性能提升数倍。如果为服务器订制一个专用文件系统，可以完全解决文件碎片的问题，将磁盘io的性能发挥至极限。对于我们的代理服务器，相当于把io性能提升到3-5倍。 在现有文件系统下进行优化linux内核和各个文件系统采用了几个优化方案来提升磁盘访问速度。但这些优化方案需要在我们的服务器设计中进行配合才能得到充分发挥。 文件系统缓存lin
小文件读写的性能瓶颈是磁盘的寻址（随机读写性能更差）,评估的标准是tps。大文件读写的性能瓶颈是带宽，评估的标准是持续的读写速度。Linux可以利用空闲内存作文件系统访问的cache，因此系统内存越大存储系统的性能也越好。
之前文章《Linux服务器性能评估与优化(一)》太长，阅读不方便，因此拆分成系列博文：
应用程序和驱动程序之间传递数据时，可以通过read、write函数进行。这涉及在用户态buffer和内核态buffer之间传数据，如下图所示：
本文介绍操作系统I/O工作原理，Java I/O设计，基本使用，开源项目中实现高性能I/O常见方法和实现，彻底搞懂高性能I/O之道
我们的DM9000是放在2440的bank4(0X20000000)的片选上面,而DM9000的CMD引脚接在bank4的LADDR2上面。也就是说当0X20000000地址上读写数据时, 此时CMD为低,则读写的便是DM9000C的地址。向0X20000000+4地址上读写数据时,此时CMD为高,则读写的便是DM9000C的数据。
也就是用户客户端直接连接游戏核心逻辑服务器，下面简称GameServer。GameServer主要负责实现各种玩法逻辑。
最近在带大家做新项目，欢迎参与 大家好，我是鱼皮。今天和大家聊一个有点儿东西的面试题：socket是否是并发安全的？ 为了帮助大家理解，我们先假设一个场景。 就拿游戏架构来说，我们想象中的游戏架构是下面这样的。 想象中的游戏架构 也就是用户客户端直接连接游戏核心逻辑服务器，下面简称GameServer。GameServer主要负责实现各种玩法逻辑。 这当然是能跑起来，实现也很简单。 但这样会有个问题，因为游戏这块蛋糕很大，所以总会遇到很多挺刑的事情。 如果让用户直连GameServer，那相当于把Game
所有的电子产品，所用技术都可以认为要么是单片机，要么是Linux；GUI方面主要是QT/Android，它们都是运行于Linux之上的。
从操作系统层面怎么理解网络I/O呢？计算机的世界有一套自己定义的概念。如果不明白这些概念，就无法真正明白技术的设计思路和本质。所以在我看来，这些概念是了解技术和计算机世界的基础。
linux系统也是一种应用，它是基于计算机硬件的一种操作系统软件。当我们接收一次网络传输，计算机硬件的网卡会从网络中将读到的字节流写到linux的buffer缓冲区内存中，然后用户空间会调用linux对外暴露的接口，将linux中的buffer内存中的数据再读取到用户空间。这一次读操作就是一次IO。同样写也是这样的。
文件系统是操作系统中负责管理持久数据的子系统，说简单点，就是负责把用户的文件存到磁盘硬件中，因为即使计算机断电了，磁盘里的数据并不会丢失，所以可以持久化的保存文件。
该文介绍了Linux系统编程之基础必备系列，包括标准IO库函数和Unbuffered IO函数，以及它们的使用方法和注意事项。
Linux系统内核是C语言编写的，所以，Linux系统开发可能会和很多系统API打交道，需要掌握C语言基础，C语言是Linux最基础的开发语言，当然也可以用C++。一般做与系统交互的模块时，用C语言多一些，做上层业务应用时，为了开发效率，会使用C++来开发，毕竟C++是面向对象的开发语言，适合大型项目的开发，方便模块化，代码复用率高。
本文会涉及到阻塞、非阻塞、多路复用、同步、异步、BIO、NIO、AIO等几个知识点，知识点虽然不难但经常容易搞混，这次带领大家再回顾一遍。
C 是 Client 单词首字母缩写，10K 指 1 万，C10K 指单机同时处理 1 万个并发连接问题。
要想客户端和服务器能在网络中通信，那必须得使用 Socket 编程，它是进程间通信里比较特别的方式，特别之处在于它是可以跨主机间通信。
Linux 按照特权等级，把进程的运行空间分为内核空间和用户空间，分别对应着下图中， CPU 特权等级分为4个,Linux 使用 Ring 0 和 Ring 3。
Linux环境下，进程地址空间相互独立，每个进程各自有不同的用户地址空间。任何一个进程的全局变量在另一个进程中都看不到，所以进程和进程之间不能相互访问。
在线课堂：https://www.100ask.net/index（课程观看） 论 坛：http://bbs.100ask.net/（学术答疑） 开 发 板：https://100ask.taobao.com/ （淘宝） https://weidongshan.tmall.com/(天猫)
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
实时音视频
