本文从操作系统的角度来解释BIO，NIO，AIO的概念，含义和背后的那些事。本文主要分为3篇。 第一篇 讲解BIO和NIO以及IO多路复用 第二篇 讲解磁盘IO和AIO 第三篇 讲解在这些机制上的一些应用的实现方式，比如nginx，nodejs，Java NIO等 磁盘IO 磁盘IO，简单来说就是读取硬盘一类设备的IO。这类设备包括传统的磁盘、SSD、闪存、CD等。操作系统将其统一抽象为”块设备“。所以磁盘IO又可以叫做”块IO“。这些设备上的数据一般用文件系统来组织，所以又可以成为”文件IO“。本文统
磁盘IO，简单来说就是读取硬盘一类设备的IO。这类设备包括传统的磁盘、SSD、闪存、CD等。操作系统将其统一抽象为”块设备“。所以磁盘IO又可以叫做”块IO“。这些设备上的数据一般用文件系统来组织，所以又可以成为”文件IO“。本文统一用”磁盘IO“这个术语。
DMA应该多多少少知道点吧。DMA(Direct Memory Access)是指在外接可以不用CPU干预，直接把数据传输到内存的技术。这个过程中可以把CPU解放出来，可以很好的提升系统性能。那么DMA和Cache有什么关系呢？这也需要我们关注？
Linux中swap与memory。对于memory没什么可说的就是机器的物理内存，读写速度低于cpu一个量级，但是高于磁盘不止一个量级。所以，程序和数据如果在内存的话，会有非常快的读写速度。但是，内存的造价是要高于磁盘的，虽然相对来说价格一直在降低。除此之外，内存的断电丢失数据也是一个原因说不能把所有数据和程序都保存在内存中。既然不能全部使用内存，那数据还有程序肯定不可能一直霸占在内存中。当内存没有可用的，就必须要把内存中不经常运行的程序给踢出去。但是踢到哪里去，这时候swap就出现了。swap全称为swap place，即交换区，当内存不够的时候，被踢出的进程被暂时存储到交换区。当需要这条被踢出的进程的时候，就从交换区重新加载到内存，否则它不会主动交换到真实内存中。
对于一个即将踏上“系统运维”或者更加高大尚的工作“系统调优”，如果这不跟这两哥们搞好关系了，坑的不只有内存，更坑的是你拿着调优的钱却干着随时被调的活。因为作为一个系统运维人员来说监控和优化IO性能这是最有可能你生存下来的技能，为啥呢？因为你不仅给老板省了钱，还提高了机器的工作效率。。虽然钱都进了老板兜里，但你渐渐地植入了他深深地脑海里，总有一天你比钱重要！好了闲话少扯，接下来说说这两个哥们到底是什么？
文件系统，本身是对存储设备上的文件，进行组织管理的机制。组织方式不同，就会形成不同的文件系统。
单机存储引擎负责高效的组织数据、索引数据、保存数据，为上层应用提供易用的接口。有一类存储引擎为了得到更高的性能，会跨过文件系统这一层调用，直接操作裸盘。那么如何实现这类存储引擎呢？本文希望以 Ceph BlueStore 为例子，介绍一下其中的实现方法。
我们都知道Linux的IO模型有阻塞、非阻塞、SIGIO、多路复用(select，epoll)、AIO（异步I/O）等。
本文作者：Linux 中国开发组组长 白宦成，自由职业者，曾就职于网易杭州研究院，目前专注于云计算技术和理念的布道和分享。
top命令是Linux下常用的性能分析工具，能够实时显示系统中各个进程的资源占用状况，类似于Windows的任务管理器。
大家好，我是 Peter，昨天群里有小伙伴咨询page cache的问题，看到网上有篇不错的文章，分享给大家。如果大家有想看的内容，欢迎给我留言。
下面以最常用的 read() 和 write() 函数来介绍 Linux 的 I/O 处理流程。
一般我们的开发同学们都知道自己机器的CPU是几核、内存是多大。但是对于CPU内部对程序性能影响较大的缓存却是一知半解。有些开发同学都是计算机的缓存有L1、L2、L3，但是再详细一点的问题，可能就很少有同学能答的完整了。如果下面这几个问题你能脱口而出，请跳过本节。例如：
[注: 转载自今日头条号"闪念基因"] 在我们进行数据持久化，对文件内容进行落盘处理时，我们时常会使用fsync操作，该操作会将文件关联的脏页(dirty page)数据(实际文件内容及元数据信息)一同写回磁盘。这里提到的脏页(dirty page)即为页缓存(page cache)。
在我们进行数据持久化，对文件内容进行落盘处理时，我们时常会使用fsync操作，该操作会将文件关联的脏页(dirty page)数据(实际文件内容及元数据信息)一同写回磁盘。这里提到的脏页(dirty page)即为页缓存(page cache)。
零拷贝（Zero-Copy）是一个大家耳熟能详的概念，那么，具体有哪些框架会使用到零拷贝呢？在思考这个问题之前，让我们先一起探寻一下零拷贝机制的底层原理。
该功能实现，主要需要考虑RTSP取摄像头视频流，拆RTP包，组H264帧，通过PJSIP的视频通道转发；这个过程中，涉及到RTP通道保活，RTSP通道保活；调试时间多耗费在对摄像头返回的RTP数据包的拆解和重新组H264帧上面。
大概就是，进程写文件（使用缓冲 IO）过程中，写一半的时候，进程发生了崩溃，会丢失数据吗？
大多数现代的类 Unix 操作系统都提供了一种中心化的机制用来搜索和安装软件。软件通常都是存放在存储库中，并通过包的形式进行分发。处理包的工作被称为包管理。包提供了操作系统的基本组件，以及共享的库、应用程序、服务和文档。
网上已经有很多关于Linux内核内存管理的分析和介绍了，但是不影响我再写一篇：一方面是作为其他文章的补充，另一方面则是自己学习的记录、总结和沉淀。
最近做一个Android开发的项目用到了录屏的功能，开始查阅了一些资料和博客，基本上都是在讨论ROOT的。直到后来在github上看到一个比较新的代码，才恍然发现，Android 5.0时候开放了一个新的接口—android.media.projection，一下子让这个问题变得简单了。所以说查阅资料也该注意实时性，现在很多技术推陈出新速度很快，一些新的包，接口，方法会让问题更好更快的解决。不过自己还是决定总结了下之前的一些想法，也算是一个学习吧。
在前两期，我们讲述了X姐利用缓存一致性原理，晋升P9并且设法避免了被老板毕业的故事，链接在此：
今天给大侠带来FPGA Xilinx Zynq 系列第三十六篇，开启第二十三章，带来Linux 内核相关内容，本篇内容目录简介如下：
方法 1 - 检查 CPU 信息使用 `lscpu` 方法 2 - 在 Linux 中使用`/proc/cpuinfo`文件查找 CPU 信息 方法 3 - 查看处理器信息使用 `lshw` 方法 4 - 使用获取处理器详细信息 `dmidecode` 方法 5 - 查看 CPU 信息使用 `inxi` 方法 6 - 使用打印 CPU 信息 `hardinfo` 方法 7 - 使用 `hwinfo` 方法 8 - 使用 `cpuid` 方法 9 - 使用 `nproc` 方法 10 - 使用 `hwloc`
在ARM平台上，ARMv6之前，SWP和SWPB指令被用来支持对shared memory的访问：
Windows 版本的 Redis Desktop Manager 64位 2019.1(中文版) 下载地址 https://www.7down.com/soft/233274.html
结合这个图，想想Linux系统编程里用到的Buffered IO、mmap(2)、Direct IO，这些机制怎么和Linux IO栈联系起来呢？上面的图有点复杂，我画一幅简图，把这些机制所在的位置添加进去：
在 Linux 系统中，传统的访问方式是通过 write() 和 read() 两个系统调用实现的，通过 read() 函数读取文件到到缓存区中，然后通过 write() 方法把缓存中的数据输出到网络端口。
slab分配器设计的需求 在Linux内核的内存子系统中，伙伴系统无疑处于内存管理的核心地带，但是如果将内存管理从逻辑上分层，它的位置则处于最底层。Buddy是所有物理内存的管家，不论使用何种接口申请内存都要经由伙伴系统进行分配。但是，伙伴系统管理的物理内存是以页为单位，以4K页为例，它也包含了4096个字节。但是无论是内核自己还是用户程序，在日常的使用中都很少会需要使用四千多字节大小的内存。试想如果我们仅需要为10个字符的字符串分配内存，但是伙伴系统却给了我们一页，那这一页剩余没有使用的内存就浪费了，而且
针对海量的网络流量，转发性能是我们最关键的一个方面，那构建高性能的后台服务器有哪些关键的技术和需要注意的地方。
原创地址：https://mp.weixin.qq.com/s?__biz=Mzg4NDQ0OTI4Ng==&mid=2247485799&idx=1&sn=49369686896c5e3413d9e
Linux作为一个类UNIX系统，其文件系统保留了原始UNIX文件系统的表象形式，它看起来是这个样子：
接着上篇文章VFS- 内核是如何抽象文件系统的阐述了VFS以后,这篇文章主要想讲述一下在内核当中如何创建一个文件系统.其实根据上一篇博客来说,我们的文件系统主要能够满足VFS的抽象,就可以在内核中构建一个自己的文件系统.一个文件系统满足的功能其实就是针对文件的增删改查,目录的管理,还有链接等等,这是从用户的角度来看,而文件系统本身也要有自己的状态信息,维护在超级块里,可以被挂载,然后向下要提交IO请求(一般是磁盘也可以是网络,甚至是内存).这里的实现我们选择在内存当中实现一个文件系统.
使用memcahed的客户端xmemcached实现Cache、CacheManager接口。
如果你觉得这些问题都很简单，都能很明确的回答上来。那么很遗憾这篇文章不是为你准备的，你可以关掉网页去做其他更有意义的事情了。如果你觉得无法明确的回答这些问题，那么就耐心地读完这篇文章，相信不会浪费你的时间。受限于个人时间和文章篇幅，部分议题如果我不能给出更好的解释或者已有专业和严谨的资料，就只会给出相关的参考文献的链接，请读者自行参阅。
Linux有Linux kernal，我们的客户端，进行连接，首先到达的是Linux kernal，在Linux的早期版本，只有read和write进行文件读写。我们使用一个线程/进程 进行调用read和write函数，那么将会返回一个文件描述符fd(file description)。我们开启线程/进程去调用read进行读取。因为socket在这个时期是blocking（阻塞的），遇到高并发，就会阻塞，也就是bio时期。
在日常开发中一些看似司空见惯的问题上，我觉得可能大多数人其实并没有真正理解，或者理解的不够透彻。不信我们来看以下一段简单的读取文件的代码：
一个完整的项目，无论是个人的还是公司的，自动化的单元测试是必不可少，否则以后任何的功能改动将成为你的灾难。
包管理系统除了安装软件外，它还提供了工具来更新已经安装的包。包存储库有助于确保你的系统中使用的代码是经过审查的，并且软件的安装版本已经得到了开发人员和包维护人员的认可。
实验需求：使用squid搭建反向代理服务器，在内网服务器192.168.100.1上启用基于域名的虚拟主机，使客户端能通过域名访问www.linuxidc.com和bbs.linuxidc.com
针对海量的网络流量，转发性能是我们最关键的一个方面，那构建高性能的后台服务器有哪些关键的技术和需要注意的地方，今天邀请了后台开发同学童琳和郑胜利来和大家一起谈谈。 一、引言 随着互联网的高速发展，内容量的提升以及对内容智能的需求、云产业的快速突起，作为互联网的计算基石服务器的形态以及使用成为了炙手可热的话题，全球各家大型互联网公司都持续的在服务器平台上有非常大的动作，譬如facebook的OCP等，而整个服务器的生态链也得到了促进和发展。随着服务器硬件性能的提升和网络硬件的开放，传统PC机的处理性能甚者可
接下来就是重点了，首先你需要让你的浏览器能够修改UA，即爬虫经常用到的「User-Agent」。
在Android系统中，进程可以大致分为系统进程和应用进程两大类。
Docker 属于 Linux 容器的一种封装，提供简单易用的容器使用接口。它是目前最流行的 Linux 容器解决方案。Docker 将应用程序与该程序的依赖，打包在一个文件里面。运行这个文件，就会生成一个虚拟容器。程序在这个虚拟容器里运行，就好像在真实的物理机上运行一样。有了 Docker，就不用担心环境问题。总体来说，Docker 的接口相当简单，用户可以方便地创建和使用容器，把自己的应用放入容器。容器还可以进行版本管理、复制、分享、修改，就像管理普通的代码一样。
在之前的这四篇文章中，笔者详细的为大家介绍了 slab 内存池的整体架构演化过程，随后基于这个演化过程，介绍了整个 slab alloactor 体系的创建，内存分配，内存释放以及销毁等相关复杂流程在内核中的实现。
本文为霍格沃兹测试学院优秀学员课程学习系列笔记，想一起系统进阶的同学文末加群交流。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
腾讯会议
