I/O基础 1、java1.4之前，java对I/O支持不完善，存在以下问题： 没有数据缓冲区，I/O性能存在问题。 没有C或者C++的channel概念，只有输入输出流。 同步式阻塞式I/O通信，通常会导致通信线程被长时间阻塞。 支持的字符集有限，硬件可移植性不好。 2、Linux网络I/O模型 Linux内核将所有外部设备都看作一个文件来操作，对文件的操作都会调用内核提供的系统命令，返回一个fd(文件描述符)。 描述符就是一个数字，它指向内核中的一个结构体(文件路径，数据区等属性)。 fd演示:
4月26日收到了腾讯的offer,终于安心了,很多小伙伴们要我写面经介绍下,其实自己能拿到腾讯的offer 99%是运气~, 这里就介绍下自己的面经跟总结自己的看的书跟学习方法, 自己来自一所非985垫底的211大学~大三本科,主要学习的是Linux内核/C++,投的岗位都是后台开发, 自己的项目也就2个demo,一个简易kernel,一个很简单的网络库. 因为学校位置不方便,只投了腾讯跟美团.不可以投那么多互联网公司(路费.一出疆就上千),美团各种原因放弃了, 然后就这次到西安参加腾讯面试花了1800左右
Reactor 与 Proactor 模型是近几年技术领域频频提到的两个设计模式，那么，究竟什么是 Reator，什么又是 Proactor，他们之间有什么异同呢？ 本文就来详细介绍一下。
epoll是一种I/O事件通知机制，是linux 内核实现IO多路复用的一个实现。IO多路复用是指，在一个操作里同时监听多个输入输出源，在其中一个或多个输入输出源可用的时候返回，然后对其的进行读写操作。 epoll有两种工作方式， LT-水平触发 和ET-边缘触发(默认工作方式),主要区别是： LT，内核通知你fd是否就绪，如果没有处理，则会持续通知。而ET，内核只通知一次。 什么是I/O？ 输入输出(input/output)的对象可以是文件(file)， 网络(socket)，进程之间的管道(pipe)。在linux系统中，都用文件描述符(fd)来表示。 什么是事件？ IO中涉及到的行为，建立连接、读操作、写操作等抽象出一个概念，就是事件，在jdk中用类SelectionKey.java来表示，例如：可读事件，当文件描述符关联的内核读缓冲区可读，则触发可读事件（可读：内核缓冲区非空，有数据可以读取）；可写事件，当文件描述符关联的内核写缓冲区可写，则触发可写事件（可写：内核缓冲区不满，有空闲空间可以写入）。 什么是通知机制？ 通知机制，就是当事件发生的时候，则主动通知。通知机制的反面，就是轮询机制。
同步阻塞IO在等待数据就绪上花去太多时间，而传统的同步非阻塞IO虽然不会阻塞进程，但是结合轮询来判断运维
在这之前先了解一下epoll：epoll 全称 eventpoll，是 linux 内核实现IO多路复用（IO multiplexing）的一个实现。IO多路复用的意思是在一个操作里同时监听多个输入输出源，在其中一个或多个输入输出源可用的时候返回，然后对其的进行读写操作，和epoll类似的还有poll、select；epoll 监听的 fd（file descriptor）集合是常驻内核的，它有 3 个系统调用 （epoll_create, epoll_wait, epoll_ctl），通过 epoll_wait 可以多次监听同一个 fd 集合，只返回可读写那部分。更详细的介绍在另一个文章
说到IO模型，都会牵扯到同步、异步、阻塞、非阻塞这几个词。从词的表面上看，很多人都觉得很容易理解。但是细细一想，却总会发现有点摸不着头脑。自己也曾被这几个词弄的迷迷糊糊的，每次看相关资料弄明白了，然后很快又给搞混了。
这篇文章读不懂的没关系，可以先收藏一下。笔者准备介绍完epoll和NIO等知识点，然后写一篇Java网络IO模型的介绍，这样可以使Java网络IO的知识体系更加地完整和严谨。初学者也可以等看完IO模型介绍的博客之后，再回头看这些博客，会更加有收获。
什么是epoll epoll是什么？按照man手册的说法：是为处理大批量句柄而作了改进的poll。当然，这不是2.6内核才有的，它是在2.5.44内核中被引进的(epoll(4) is a new API introduced in Linux kernel 2.5.44)，它几乎具备了之前所说的一切优点，被公认为Linux2.6下性能最好的多路I/O就绪通知方法。 epoll的相关系统调用 epoll只有epoll_create,epoll_ctl,epoll_wait 3个系统调用。 1. int ep
学习任何东西之前都得知道他是为什么而产生的。任何一个设计，或技术。都是为了解决某个或多个问题而产生的。即BIO到NIO到多路复用再到epollo 再到netty网络编程框架。今天我们来看看这个演进的过程。
异步io（aio），AIO是真正意义上的异步非阻塞IO模型，数据已经从内核拷贝到用户空间
上篇文章，介绍了Unix域的socket通信，并通过实例测试了TCP和UDP两种传输方式。本篇，在上篇例程的基础上，来学习epoll的多路复用功能，通过给服务端增加epoll监听功能，实现对多个客户端的数据进行接收。
一段代码能否把机器硬件性能发挥到极致，我们通常用cpu和IO利用率（本地存储io和网络io）来衡量。
select的本质是采用32个整数的32位，即32*32= 1024来标识，fd值为1-1024。当fd的值超过1024限制时，就必须修改FD_SETSIZE的大小。这个时候就可以标识32*max值范围的fd。
大家好，我是飞哥！在互联网时代里，我觉得网络是最重要的一门技术了。但是我觉得从国内计算机系的学生，到已经工作了的工程师，在网络的学习上整体存在两个问题。
20个线程连续压测一分钟后开始交替出现两台目标机器已经宕机（单线程访问没什么问题），出现日志如下所示：
Redis的单线程指的是网络IO处理和Key-Value数据信息处理共用一个线程；
Linux平台上传统的I/O复用模型有select和poll模型，但二者在解决大量并发请示时却表现不佳。与select/poll相比，epoll的优点体现在以下三个方面：
I/O多路复用有很多种实现。在linux上，2.4内核前主要是select和poll，自Linux 2.6内核正式引入epoll以来，epoll已经成为了目前实现高性能网络服务器的必备技术。尽管他们的使用方法不尽相同，但是本质上却没有什么区别。本文将重点探讨将放在EPOLL的实现与使用详解。
目前越来越多的应用程序采用事件驱动的方式实现功能，如何高效地利用系统资源实现通知的管理和送达就愈发变得重要起来。在Linux系统中，eventfd是一个用来通知事件的文件描述符，timerfd是的定时器事件的文件描述符。二者都是内核向用户空间的应用发送通知的机制，可以有效地被用来实现用户空间的事件/通知驱动的应用程序。
我们都知道unix世界里、一切皆文件、而文件是什么呢？文件就是一串二进制流而已、不管socket、还是FIFO、管道、终端、对我们来说、一切都是文件、一切都是流、在信息交换的过程中、我们都是对这些流进行数据的收发操作、简称为I/O操作(input and output)、往流中读出数据、系统调用read、写入数据、系统调用write、不过话说回来了、计算机里有这么多的流、我怎么知道要操作哪个流呢？做到这个的就是文件描述符、即通常所说的fd(file descriptor)、一个fd就是一个整数、所以对这个整数的操作、就是对这个文件（流）的操作、我们创建一个socket、通过系统调用会返回一个文件描述符、那么剩下对socket的操作就会转化为对这个描述符的操作、不能不说这又是一种分层和抽象的思想、
本文从操作系统的角度来解释BIO，NIO，AIO的概念，含义和背后的那些事。本文主要分为3篇。 第一篇 讲解BIO和NIO以及IO多路复用 第二篇 讲解磁盘IO和AIO 第三篇 讲解在这些机制上的一些应用的实现方式，比如nginx，nodejs，Java NIO等 磁盘IO 磁盘IO，简单来说就是读取硬盘一类设备的IO。这类设备包括传统的磁盘、SSD、闪存、CD等。操作系统将其统一抽象为”块设备“。所以磁盘IO又可以叫做”块IO“。这些设备上的数据一般用文件系统来组织，所以又可以成为”文件IO“。本文统
磁盘IO，简单来说就是读取硬盘一类设备的IO。这类设备包括传统的磁盘、SSD、闪存、CD等。操作系统将其统一抽象为”块设备“。所以磁盘IO又可以叫做”块IO“。这些设备上的数据一般用文件系统来组织，所以又可以成为”文件IO“。本文统一用”磁盘IO“这个术语。
这次，我们以最简单 socket 网络模型，一步一步的过度到 I/O 多路复用。
在日常的开发过程中，经常会遇到端口占用冲突的问题。那是不是不同的进程不能同时监听同一个端口呢？这个小节就来介绍 SO_REUSEPORT 选项相关的内容。
要想客户端和服务器能在网络中通信，那必须得使用 Socket 编程，它是进程间通信里比较特别的方式，特别之处在于它是可以跨主机间通信。
作者：dustinzhou，腾讯 IEG 运营开发工程师 epoll 是 linux 特有的一个 I/O 事件通知机制。很久以来对 epoll 如何能够高效处理数以百万记的文件描述符很有兴趣。近期学习、研究了 epoll 源码，在这个过程中关于 epoll 数据结构和作者的实现思路产生出不少疑惑，在此总结为了 10 个问题并逐个加以解答和分析。本文基于的内核源码版本是2.6.39 版本 。 Question 1：是否所有的文件类型都可以被 epoll 监视？ 答案：不是。看下面这个实验代码： #inc
上周在线上出现了一个很低级的问题，但是正是这个低级的问题引起了我的兴趣，其实所谓的低级是因为配置文件配置错了，原本线上是为每个客户端设置了一个席位，就说是客户端的配置内容是不同的，但是由于部署的人员将两个客户端席位设置的一样，这时候连接服务端的时候会出现问题，服务端的设置的策略是同一时刻只能有一个席位在线，接下来就开始了“一出好戏”----2个客户端开始抢占服务器，不断的进行“互踢”，因为客户端设置了断线重连。
http://blog.csdn.net/hguisu/article/details/8930668 （排名100多bolg写的很好）
对于水平触发模式(LT)：在1处，如果你不做任何操作，内核依旧会不断的通知进程文件描述符准备就绪。
去年秋天，我正在开发一个库，创建一套安全的API，实现在一个 io-uring 实例的基础上执行 future。虽然最后发布了一个叫 iou 的 liburing 的 binding 库，但其与 future 集成的 ostkreuz 库最终未能发布。我不知道将来是否会继续这项工作，但是有些人已经开始开发目标类似的库了，因此我想就我在 io-uring 和 Rust 的 future 模型上的学习情况做一些笔记。这篇文章假定你对 io-uring API 有一定了解。这个文档(https://kernel.dk/io_uring.pdf)提供了关于 io-uring 的高级概述。
Redis实现了一个简单的事件驱动程序库，即 ae.c 的代码，它屏蔽了系统底层在事件处理上的差异，并实现了事件循环机制。
http://blog.csdn.net/zs634134578/article/details/19929449
继续往下跟踪就是我们要介绍的关键了SelectorProvider.provider()
epoll简介 epoll 是Linux内核中的一种可扩展IO事件处理机制，最早在 Linux 2.5.44内核中引入，可被用于代替POSIX select 和 poll 系统调用，并且在具有大量应用程序请求时能够获得较好的性能（ 此时被监视的文件描述符数目非常大，与旧的 select 和 poll 系统调用完成操作所需 O(n) 不同， epoll能在O(1)时间内完成操作，所以性能相当高），epoll 与 FreeBSD的kqueue类似，都向用户空间提供了自己的文件描述符来进行操作。 [cpp]
输入输出(input/output)的对象可以是文件(file)， 网络(socket)，进程之间的管道(pipe)。在linux系统中，都用文件描述符(fd)来表示。
本文来自 Marek’s 博客中 I/O multiplexing part 系列之三和四，原文一共有四篇，主要讲 Linux 上 IO 多路复用的一些问题，本文加入了我的一些个人理解，如有不对之处敬请指出。原文链接如下：
底层是hashmap和双向链表，每一个entry都有一个前项entry和一个后项entry
select、poll 和 epoll 都是 Linux API 提供的 IO 复用方式。
设想一个场景：有100万用户同一时候与一个进程保持着TCP连接，而每个时刻仅仅有几十个或几百个TCP连接时活跃的（接收到TCP包），也就是说，在每一时刻，进程值须要处理这100万连接中的一小部分连接。那么，怎样才干高效地处理这样的场景呢？进程是否在每次询问操作系统收集有事件发生的TCP连接时，把这100万个连接告诉操作系统，然后由操作系统找出当中有事件发生的几百个连接呢？实际上，在Linux内核2.4版本号曾经，那时的select或者poll事件驱动方式就是这样做的。
相比于select，epoll最大的好处在于它不会随着监听fd数目的增长而降低效率。因为在内核中的select实现中，它是采用轮询来处理的，轮询的fd数目越多，自然耗时越多。 并且，在linux/posix_types.h头文件有这样的声明： #define __FD_SETSIZE 1024 表示select最多同时监听1024个fd，当然，可以通过修改头文件再重编译内核来扩大这个数目，但这似乎并不治本。
Redis的高性能和他的事件模型是密不可分的，最大程度上利用了单线程、非阻塞IO模型来快速的处理请求（单线程处理多链接）。这里存在一个问题，其实严格意义上来讲，Redis 是单线程对外提供服务，redis内部并不单线程的，还存在一些关于数据持久化的线程。
又到周六了，不过这周有点忙新文章还没有写，为了不跳票，就想着把早期还不错的文章，重新排版修改发一下，因为当时读者很少，现在而言完全可以当作一篇新文章(有种狡辩的意思)...
网络I/O，可以理解为网络上的数据流。通常我们会基于socket与远端建立一条TCP或者UDP通道，然后进行读写。单个socket时，使用一个线程即可高效处理；然而如果是10K个socket连接，或者更多，我们如何做到高性能处理？
IO模型 只关注IO，不关注IO读写完成后的事情。 同步：程序（APP）自己进行读/写操作 异步：由Kernel完成读/写，程序跑起来感觉像没有访问IO，访问的是buffer 阻塞：BLOCKING，一直等待着方法有效的返回结果 非阻塞：NONBLOCKING，调用方法的时候就返回是否读取到，（java中要么返回null，要么返回具体的对象） 所以IO模型有： 同步阻塞：程序（APP）自己读取，调用了方法后一直等待着有效的返回结果 同步非阻塞：程序（APP）自己读取，调用方法的瞬间就给出是否读取到的返回结
首先,我们要了解IO复用模型之前,先要了解在Linux内核中socket事件机制在内核底层是基于什么机制实现的,它是如何工作的,其次,当我们对socket事件机制有了一个基本认知之后,那么我们就需要思考到底什么是IO复用,基于socket事件机制的IO复用是怎么实现的,然后我们才来了解IO复用具体的实现技术,透过本质看select/poll/epoll的技术优化,逐渐去理解其中是为了解决什么问题而出现的,最后本文将围绕上述思维导图列出的知识点进行分享,还有就是文章幅度较长且需要思考,需要认真阅读!
因为项目需要，接触和使用了Netty，Netty是高性能NIO通信框架，在业界拥有很好的口碑，但知其然不知其所以然。
在这个连接的生命周期里，绝大部分时间都是空闲的，活跃时间（发送数据和接收数据的时间）占比极少，这样独占一个服务器是严重的资源浪费。事实上所有的服务器都是高并发的，可以同时为成千上万个客户端提供服务，这一技术又被称为IO复用。
https://www.zhihu.com/question/462048846/answer/1919407185
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
