file 提供了一套unix文件描述符操作管理接口。用于管理所有Linux文件操作和socket通信。并提供了相关的注册、更新、删除的api接口。
在上一篇文章里我们介绍了 tomcat io 主要包含那些 items，在这里我们主要介绍tomcat io 的基础-多路复用。tomcat 服务器(tomcat7以上)默认使用 java NIO 模型，NIO 不仅仅需要 java 语言上的支持，同时还离不开各种操作系统对于多路复用的支持(linux，windows，mac 等等)，所以 tomcat的NIO 是建立在操作系统基础之上的。
同步阻塞IO在等待数据就绪上花去太多时间，而传统的同步非阻塞IO虽然不会阻塞进程，但是结合轮询来判断运维
I/O基础 1、java1.4之前，java对I/O支持不完善，存在以下问题： 没有数据缓冲区，I/O性能存在问题。 没有C或者C++的channel概念，只有输入输出流。 同步式阻塞式I/O通信，通常会导致通信线程被长时间阻塞。 支持的字符集有限，硬件可移植性不好。 2、Linux网络I/O模型 Linux内核将所有外部设备都看作一个文件来操作，对文件的操作都会调用内核提供的系统命令，返回一个fd(文件描述符)。 描述符就是一个数字，它指向内核中的一个结构体(文件路径，数据区等属性)。 fd演示:
epoll简介 epoll 是Linux内核中的一种可扩展IO事件处理机制，最早在 Linux 2.5.44内核中引入，可被用于代替POSIX select 和 poll 系统调用，并且在具有大量应用程序请求时能够获得较好的性能（ 此时被监视的文件描述符数目非常大，与旧的 select 和 poll 系统调用完成操作所需 O(n) 不同， epoll能在O(1)时间内完成操作，所以性能相当高），epoll 与 FreeBSD的kqueue类似，都向用户空间提供了自己的文件描述符来进行操作。 [cpp]
这里需要了解vpp启动过程中存在初始化宏函数的执行顺序。当前unix cli相关资源的使用就依赖这个顺序来保证的。下面先来了解一下：
本文从操作系统的角度来解释BIO，NIO，AIO的概念，含义和背后的那些事。本文主要分为3篇。 第一篇 讲解BIO和NIO以及IO多路复用 第二篇 讲解磁盘IO和AIO 第三篇 讲解在这些机制上的一些应用的实现方式，比如nginx，nodejs，Java NIO等 磁盘IO 磁盘IO，简单来说就是读取硬盘一类设备的IO。这类设备包括传统的磁盘、SSD、闪存、CD等。操作系统将其统一抽象为”块设备“。所以磁盘IO又可以叫做”块IO“。这些设备上的数据一般用文件系统来组织，所以又可以成为”文件IO“。本文统
磁盘IO，简单来说就是读取硬盘一类设备的IO。这类设备包括传统的磁盘、SSD、闪存、CD等。操作系统将其统一抽象为”块设备“。所以磁盘IO又可以叫做”块IO“。这些设备上的数据一般用文件系统来组织，所以又可以成为”文件IO“。本文统一用”磁盘IO“这个术语。
Redis的高性能和他的事件模型是密不可分的，最大程度上利用了单线程、非阻塞IO模型来快速的处理请求（单线程处理多链接）。这里存在一个问题，其实严格意义上来讲，Redis 是单线程对外提供服务，redis内部并不单线程的，还存在一些关于数据持久化的线程。
什么是epoll epoll是什么？按照man手册的说法：是为处理大批量句柄而作了改进的poll。当然，这不是2.6内核才有的，它是在2.5.44内核中被引进的(epoll(4) is a new API introduced in Linux kernel 2.5.44)，它几乎具备了之前所说的一切优点，被公认为Linux2.6下性能最好的多路I/O就绪通知方法。 epoll的相关系统调用 epoll只有epoll_create,epoll_ctl,epoll_wait 3个系统调用。 1. int ep
并不久远之前，设置单个Web服务器以支持10,000个并发连接还是一项伟大的壮举。有许多因素使开发这样的Web服务器成为可能，例如nginx，它比以前的服务器可以处理更多的连接，效率更高。最大的因素之一是用于监视文件描述符的常量时间polling（O(1)）机制，被大多数操作系统所采用。
又到周六了，不过这周有点忙新文章还没有写，为了不跳票，就想着把早期还不错的文章，重新排版修改发一下，因为当时读者很少，现在而言完全可以当作一篇新文章(有种狡辩的意思)...
本文来自 Marek’s 博客中 I/O multiplexing part 系列之三和四，原文一共有四篇，主要讲 Linux 上 IO 多路复用的一些问题，本文加入了我的一些个人理解，如有不对之处敬请指出。原文链接如下：
（1）libevent源码深度剖析一 序 （2）libevent源码深度剖析二 Reactor模式 （3）libevent源码深度剖析三 libevent基本使用场景和事件流程 （4）libevent源码深度剖析四 libevent源代码文件组织 （5）libevent源码深度剖析五 libevent的核心：事件event （6）libevent源码深度剖析六 初见事件处理框架 （7）libevent源码深度剖析七 事件主循环 （8）libevent源码深度剖析八 集成信号处理 （9）libevent源码深度剖析九 集成定时器事件 （10）libevent源码深度剖析十 支持I/O多路复用技术 （11）libevent源码深度剖析十一 时间管理 （12）libevent源码深度剖析十二 让libevent支持多线程 （13）libevent源码深度剖析十三 libevent信号处理注意点
很多人说BIO不好，会“block”，但到底什么是IO的Block呢？考虑下面两种情况：
在 Linux 系统之中有一个核心武器：epoll 池，在高并发的，高吞吐的 IO 系统中常常见到 epoll 的身影。
nginx是一种高性能的HTTP和反向代理服务器。当我们要向外界发布应用的时候，如果只有1台服务器，那么直接将DNS配置解析到这台部署的服务器即可实现诉求，但是随着访问量的增大，我们需要部署多台服务器来增加服务的性能，这时就可以使用nginx作为反向代理，将流量均衡的分摊到每台服务器上。
Nginx反向代理并发能力的强弱，直接影响到系统的稳定性。安装Nginx过程，默认配置并不涉及到过多的并发参数，作为产品运行，不得不考虑这些因素。Nginx作为产品运行，官方建议部署到Linux64位系统，基于该建议，本文中从系统线之上考虑Nginx的并发优化。
输入输出(input/output)的对象可以是文件(file)， 网络(socket)，进程之间的管道(pipe)。在linux系统中，都用文件描述符(fd)来表示。
本文从操作系统的角度来解释BIO，NIO，AIO的概念，含义和背后的那些事。本文主要分为3篇。 第一篇讲解BIO和NIO以及IO多路复用 第二篇讲解AIO和文件IO 第三篇讲解在这些机制上的一些应用的实现方式，比如nginx，nodejs，Java NIO等 到底什么是“IO Block” 很多人说BIO不好，会“block”，但到底什么是IO的Block呢？考虑下面两种情况： 用系统调用read从socket里读取一段数据 用系统调用read从一个磁盘文件读取一段数据到内存 如果你的直觉告诉你，这两种都算
在这个连接的生命周期里，绝大部分时间都是空闲的，活跃时间（发送数据和接收数据的时间）占比极少，这样独占一个服务器是严重的资源浪费。事实上所有的服务器都是高并发的，可以同时为成千上万个客户端提供服务，这一技术又被称为IO复用。
导语 | 本文介绍了部分高性能网络方案，包括RDMA、HARP、io_uring等。从技术原理、落地可行性等方面，简要地做出分析，希望能对此方面感兴趣的开发者提供一些经验和帮助。 一、背景 业务中经常会有这样的场景： 随着网卡速率的提升（10G/25G/100G），以及部分业务对低延迟的极致追求（1ms/50us），目前的内核协议栈由于协议复杂、流程复杂、设计陈旧等因素，已经逐渐成为业务瓶颈。 业界已经有部分RDMA、DPDK的实践，但是对于大多数开发者而言，依然比较陌生。 那么这些方案各自的场景究竟怎样？
作者：jaydenwen，腾讯 pcg 后台开发工程师 在互联网中提起网络，我们都会避免不了讨论高并发、百万连接。而此处的百万连接的实现，脱离不了网络 IO 的选择，因此本文作为一篇个人学习的笔记，特此进行记录一下整个网络 IO 的发展演变过程。以及目前广泛使用的网络模型。 1.网络 IO 的发展 在本节内容中，我们将一步一步介绍网络 IO 的演变发展过程。介绍完发展过程后，再对网络 IO 中几组容易混淆的概念进行对比、分析。 1.1 网络 IO 的各个发展阶段 通常，我们在此讨论的网络 IO 一
不同于传统的“一个进程处理一个客户端请求”的方式，IO复用可以让一个进程处理多个客户端的请求，更加节省资源。
在linux 没有实现epoll事件驱动机制之前，我们一般选择用select或者poll等IO多路复用的方法来实现并发服务程序。在linux新的内核中，有了一种替换它的机制，就是epoll。
本文经 CyC2018 大佬授权发表，更多技术内容请前往 https://github.com/CyC2018/CS-Notes 查看。
一、linux网络IO模型：linux将所有外部设备都当作文件处理，对一个文件的读写操作通过调用内核命令执行，返回一个file descriptor（fd 文件描述符），而对于一个socket也有对应的socketFD，描述符是一个数字，指向内核中的一个结构体（文件路径，数据区属性等）。
网络I/O，可以理解为网络上的数据流。通常我们会基于socket与远端建立一条TCP或者UDP通道，然后进行读写。单个socket时，使用一个线程即可高效处理；然而如果是10K个socket连接，或者更多，我们如何做到高性能处理？
我们都知道unix世界里、一切皆文件、而文件是什么呢？文件就是一串二进制流而已、不管socket、还是FIFO、管道、终端、对我们来说、一切都是文件、一切都是流、在信息交换的过程中、我们都是对这些流进行数据的收发操作、简称为I/O操作(input and output)、往流中读出数据、系统调用read、写入数据、系统调用write、不过话说回来了、计算机里有这么多的流、我怎么知道要操作哪个流呢？做到这个的就是文件描述符、即通常所说的fd(file descriptor)、一个fd就是一个整数、所以对这个整数的操作、就是对这个文件（流）的操作、我们创建一个socket、通过系统调用会返回一个文件描述符、那么剩下对socket的操作就会转化为对这个描述符的操作、不能不说这又是一种分层和抽象的思想、
linux上使用epoll MacOSX上使用kqueue 性能测试报告 单机千万并发连接
select的本质是采用32个整数的32位，即32*32= 1024来标识，fd值为1-1024。当fd的值超过1024限制时，就必须修改FD_SETSIZE的大小。这个时候就可以标识32*max值范围的fd。
Linux有Linux kernal，我们的客户端，进行连接，首先到达的是Linux kernal，在Linux的早期版本，只有read和write进行文件读写。我们使用一个线程/进程 进行调用read和write函数，那么将会返回一个文件描述符fd(file description)。我们开启线程/进程去调用read进行读取。因为socket在这个时期是blocking（阻塞的），遇到高并发，就会阻塞，也就是bio时期。
IO多路复用技术把多个IO的阻塞复用到同一个select的阻塞上，使得系统在单线程的情况下可以同时处理多个客户端请求。
SelectorProvider提供的所有provider都是同一个对象。如果没有，它会通过AccessController.doPrivileged来给获取provider的代码最高的权限，执行逻辑是：
如果出现了很多的客户端连接，比如1000个，那么应用程序就会启用1000个进程或线程阻塞等待。此时会出现性能问题：
1、Nodejs 1) 简单的说 Node.js 就是运行在服务端的 JavaScript。 2) Node.js 是一个基于Chrome JavaScript 运行时建立的一个平台。 3) Node.js是一个事件驱动I/O服务端JavaScript环境，基于Google的V8引擎，V8引擎执行Javascript的速度非常快，性能非常好。 4) 我们写下的js代码，是在单线程的环境中执行，但nodejs本身不是单线程的。如果我们在代码中调用了nodejs提供的异步api（如IO等），它们可能是通过底层的
select、poll 和 epoll 都是 Linux API 提供的 IO 复用方式。
socket编程的demo中使用的都是最基本的，但是一般不会真正用在项目中的代码。而实际项目中，需要面临复杂多变的需求环境，比如有多个socket连接，或者服务需要监听的时候，可能有很多socket连接进来。面对这种情况，最直接最简单的想法是，一个socket连接创建一个线程去处理。当然，在socket连接数较少的情况下，这种方式无可厚非，但是如果连接数量较大，就会出现意外情况。
linux操作系统包含了五种IO模型，各种上层编程语言或者网络编程框架的上层实现都是基于操作系统的这些IO实现来实现的。
http://www.cnblogs.com/Anker/p/3265058.html
通过前面的文章我们已经了解了「数据包从HTTP层->TCP层->IP层->网卡->互联网->目的地服务器」以及「数据包怎么从网线到进程，在被应用程序使用」涉及的知识。 本文将继续介绍网络编程中的各种细节和IO多路复用的原理。
select本质上是通过设置或检查存放fd标志位的数据结构进行下一步处理。 这带来缺点：
I/O多路复用有很多种实现。在linux上，2.4内核前主要是select和poll，自Linux 2.6内核正式引入epoll以来，epoll已经成为了目前实现高性能网络服务器的必备技术。尽管他们的使用方法不尽相同，但是本质上却没有什么区别。本文将重点探讨将放在EPOLL的实现与使用详解。
缓存是一种将数据存储在高速缓存中的技术，它可以提高应用程序的性能和响应速度。以下是一些使用缓存的原因：
目前越来越多的应用程序采用事件驱动的方式实现功能，如何高效地利用系统资源实现通知的管理和送达就愈发变得重要起来。在Linux系统中，eventfd是一个用来通知事件的文件描述符，timerfd是的定时器事件的文件描述符。二者都是内核向用户空间的应用发送通知的机制，可以有效地被用来实现用户空间的事件/通知驱动的应用程序。
BIO(Blocking IO) 又称同步阻塞IO，一个客户端由一个线程来进行处理
epoll同样是linux上的IO多路复用的一种实现，内核在实现时使用的数据结构相比select要复杂，但原理上并不复杂，我们力求在下面的描述里抽出主干，理清思路。
服务器端为了能流畅处理多个客户端链接，一般在某个线程A里面accept新的客户端连接并生成新连接的socket fd，然后将这些新连接的socketfd给另外开的数个工作线程B1、B2、B3、B4，这些工作线程处理这些新连接上的网络IO事件（即收发数据），同时，还处理系统中的另外一些事务。这里我们将线程A称为主线程，B1、B2、B3、B4等称为工作线程。工作线程的代码框架一般如下： while (!m_bQuit) { epoll_or_select_func(); hand
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
