Linux系统中一切皆文件，仔细想一下Linux系统的很多活动无外乎读操作和写操作，零拷贝就是为了提高读写性能而出现的。
Kafka 是比较常用的消息队列，我们都知道 Kafka 的吞吐量很大，即使是普通的服务器，Kafka也可以轻松支持每秒百万级的写入请求，超过了大部分的消息中间件，这种特性也使得Kafka在日志处理等海量数据场景广泛应用。
我们在处理网络问题时，经常是处理 I/O 问题——输入和输出。看上去很复杂，但说白了就是如何把网卡收到的数据给到指定的程序，然后程序如何将数据拷贝到网卡。
通用异步收发器简称 UART，即“Universal Asynchronous Receiver Transmitter”， 它用来传输串行数据：发送数据时，CPU 将并行数据写入 UART，UART 按照一定的格式在一 根电线上串行发出；接收数据时， UART 检测另一根电线上的信号，将串行数据收集放在缓 冲区中，CPU 即可读取 UART 获得这些数据。 UART 之间以全双工方式传输数据，最精简的连 线方法只有三根电线：TxD 用于发送数据， RxD 用于接收数据，GND 用于给双方提供参考电 平，连线如图所示：
进程-操作系统提供的抽象概念，是系统进行资源分配和调度的基本单位，是操作系统结构的基础。程序是指令、数据及其组织形式的描述，进程是程序的实体。程序本身是没有生命周期的，它只是存在磁盘上的一些指令,程序一旦运行就是进程。
线程 线程是CPU调度的最小单位 CPU 执行过程图 比如我们有一个单核CPU，目前有3个想要执行的线程，这3个线程在执行过程中先执行1,在下一个时间片cpu让渡出来执行线程2，在下一个时间片cpu让渡出来执行线程3，以此类推，最终将3个线程执行完毕。 如果我们不将CPU进行分片，按顺序先执行完线程1，再执行线程2，最后执行线程3。 我们是否有一个疑惑，前者(CPU切片)和后者(顺序执行)使用的时间貌似是一样的，并且后者(顺序执行)只切换了2次上下文，这样是不是执行的效率更高呢？那多线程存在的意义有体现
现代计算机之父冯诺伊曼最先提出程序存储的思想，并成功将其运用在计算机的设计之中，该思想约定了用二进制进行计算和存储，还定义计算机基本结构为 5 个部分，分别是中央处理器（CPU）、内存、输入设备、输出设备、总线。
导言 | 本文邀请到腾讯CSIG后台开发工程师kevineluo从文件传输场景以及零拷贝技术深究Linux I/O的发展过程、优化手段以及实际应用。I/O相关的各类优化已经深入到了日常开发者接触到的语言、中间件以及数据库的方方面面。通过了解和学习相关技术和思想，开发者能对日后自己的程序设计以及性能优化上有所启发。 前言 存储器是计算机的核心部件之一，在完全理想的状态下，存储器应该要同时具备以下三种特性：第一，速度足够快：存储器的存取速度应当快于CPU执行一条指令，这样CPU的效率才不会受限于存储器；第二，
作者：kevineluo，腾讯 CSIG 后台开发工程师 本文将从文件传输场景以及零拷贝技术深究 Linux I/O 的发展过程、优化手段以及实际应用。 前言 存储器是计算机的核心部件之一，在完全理想的状态下，存储器应该要同时具备以下三种特性： 速度足够快：存储器的存取速度应当快于 CPU 执行一条指令，这样 CPU 的效率才不会受限于存储器； 容量足够大：容量能够存储计算机所需的全部数据； 价格足够便宜：价格低廉，所有类型的计算机都能配备。 但是现实往往是残酷的，我们目前的计算机技术无法同时满足上述的三个
存储器是计算机的核心部件之一，在完全理想的状态下，存储器应该要同时具备以下三种特性：
相信不少的网友，在很多的博客文章里面，已经见到过零拷贝这个词，会不禁的发出一些疑问，什么是零拷贝？
我们知道外设访问内存需要通过DMA进行数据搬移，关于cpu, cache, device, dma, memory的关系可以通过下图说明：
像大白这种调包侠，深知不懂底层技术点就如同空中楼阁，再这样下去面阿里p10是没希望了。
前两周有人询问DMA下的cache操作和dma-coherent。以前零碎看过代码。临时找，还没有找到。
程磊，某手机大厂系统开发工程师，阅码场荣誉总编辑，最大的爱好是钻研Linux内核基本原理。
DMA 是一种硬件机制，它允许外围组件将其 I/O 数据直接传输到主内存或从主内存传输数据，而无需系统处理器参与传输。使用这种机制可以极大地增加进出设备的吞吐量，因为大量的计算开销被消除了。
DMA(Direct Memory Access) 即直接存储器访问， DMA 传输方式无需 CPU 直接控制传输，通过硬件为 RAM 、I/O 设备开辟一条直接传送数据的通路，能使 CPU 的效率大
Flink的内存管理是基于JVM内存模型的，所以，在内存调优或者解决各种OOM等问题时JVM内存管理是绕不开的话题。本文以Direct Memory为切入点，探索堆外内存、直接内存、以及他们在Java NIO源码中如何体现的。最后，简单介绍Java NIO的零拷贝在Kafka和Netty中的应用。
注意事项：除了 Direct I/O，与磁盘相关的文件读写操作都有使用到 page cache 技术。
上一篇推文《百万并发「零拷贝」技术系列之初探门径》中的示例告诉我们：传统的I/O操作读取文件并通过Socket发送，需要经过4次上下文切换、2次CPU数据拷贝和2次DMA控制器数据拷贝，如下图
零拷贝是老生常谈的问题啦，大厂非常喜欢问。比如Kafka为什么快，RocketMQ为什么快等，都涉及到零拷贝知识点。最近技术讨论群几个伙伴分享了阿里、虾皮的面试真题，也都涉及到零拷贝。因此本文将跟大家一起来学习零拷贝原理。
引言 传统的 Linux 操作系统的标准 I/O 接口是基于数据拷贝操作的，即 I/O 操作会导致数据在操作系统内核地址空间的缓冲区和应用程序地址空间定义的缓冲区之间进行传输。这样做最大的好处是可以减少磁盘 I/O 的操作，因为如果所请求的数据已经存放在操作系统的高速缓冲存储器中，那么就不需要再进行实际的物理磁盘 I/O 操作。但是数据传输过程中的数据拷贝操作却导致了极大的 CPU 开销，限制了操作系统有效进行数据传输操作的能力。 零拷贝（ zero-copy ）技术可以有效地改善数据传输的性能，在内核驱动程序（比如网络堆栈或者磁盘存储驱动程序）处理 I/O 数据的时候，零拷贝技术可以在某种程度上减少甚至完全避免不必要 CPU 数据拷贝操作。
零拷贝技术指在计算机执行操作时，CPU不需要先将数据从一个内存区域复制到另一个内存区域，从而可以减少上下文切换以及CPU的拷贝时间。它的作用是在数据报从网络设备到用户程序空间传递的过程中，减少数据拷贝次数，减少系统调用，实现CPU的零参与，彻底消除CPU的负载。
在 Linux 系统中，传统的访问方式是通过 write() 和 read() 两个系统调用实现的，通过 read() 函数读取文件到到缓存区中，然后通过 write() 方法把缓存中的数据输出到网络端口。
程磊，某手机大厂系统开发工程师，阅码场荣誉总编辑，最大的爱好是钻研Linux内核基本原理。 一、进程间通信的本质
基本操作就是循环的从磁盘读入文件内容到缓冲区，再将缓冲区的内容发送到socket。但是由于Linux的I/O操作默认是缓冲I/O。这里面主要使用的也就是read和write两个系统调用，我们并不知道操作系统在其中做了什么。实际上在以上I/O操作中，发生了多次的数据拷贝。
大白话解释，零拷贝就是没有把数据从一个存储区域拷贝到另一个存储区域。但是没有数据的复制，怎么可能实现数据的传输呢？其实我们在java NIO、netty、kafka遇到的零拷贝，并不是不复制数据，而是减少不必要的数据拷贝次数，从而提升代码性能
互联网、Linux内核书籍上充满了各种关于Linux DMA ZONE和dma_alloc_coherent、dma_map_single等的各种讲解，由于很多童鞋缺乏自身独立的思考，人云亦云，对这些概念形成了很多错误的理解。本文的目的在于彻底澄清这些误解。
零拷贝（Zero-copy）是指计算机执行操作时，CPU不需要先将数据从某处内存复制到另一个特定区域。这种技术通常用于通过网络传输文件时节省CPU周期和内存带宽。
什么是零拷贝 维基上是这么描述零拷贝的：零拷贝描述的是CPU不执行拷贝数据从一个存储区域到另一个存储区域的任务，这通常用于通过网络传输一个文件时以减少CPU周期和内存带宽。 零拷贝给我们带来的好处： 减少甚至完全避免不必要的CPU拷贝，从而让CPU解脱出来去执行其他的任务 减少内存带宽的占用 通常零拷贝技术还能够减少用户空间和操作系统内核空间之间的上下文切换 Linux系统的“用户空间”和“内核空间” 从Linux系统上看，除了引导系统的BIN区，整个内存空间主要被分成两个部分：内核空间(Ke
"USB 接口"是逻辑上的 USB 设备，编写的 usb_driver 驱动程序，支持的是"USB 接口"：
UDC驱动的接口都定义在drivers/usb/gadget/udc/core.c文件中。USB Function驱动通过调用这些接口匹配及访问USB设备控制器，而底层USB控制器驱动要实现这些接口定义的功能。下面分析一下主要的UDC驱动接口调用流程。
在前一章节中，我们了解了DMA技术在文件传输中的重要性，并简要介绍了零拷贝技术。为了提高文件传输的性能，我们需要减少用户态与内核态之间的上下文切换次数以及内存拷贝次数。本章将深入探讨零拷贝技术的优化方法，让我们一起走进零拷贝的优化之路！
零拷贝（Zero-Copy）是一个大家耳熟能详的概念，那么，具体有哪些框架会使用到零拷贝呢？在思考这个问题之前，让我们先一起探寻一下零拷贝机制的底层原理。
Kafka之所以那么快，其中一个很大的原因就是零拷贝（Zero-copy）技术，零拷贝不是kafka的专利，而是操作系统的升级，又比如Netty，也用到了零拷贝。下面我就画图讲解零拷贝，如果对你有帮助请点个赞支持。
Linux 按照特权等级，把进程的运行空间分为内核空间和用户空间，分别对应着下图中， CPU 特权等级分为4个,Linux 使用 Ring 0 和 Ring 3。
尽管vmalloc函数族可用于从高端内存域向内核映射页帧(这些在内核空间中通常是无法直接看到的), 但这并不是这些函数的实际用途.
我们看到，通过 DMA 芯片进行的硬盘读写过程需要进行四次特权级切换和四次拷贝操作。
公众号《鲁大猿》 ，寻精品资料，帮你构建Java全栈知识体系 http://www.jiagoujishu.cn
DPU卸载/加速, 或AI云中, 大量使用的RDMA技术中, 比较重要的操作当属于DMA, 不管是e810, e1000, mlx5等网卡驱动, 或是刚玉项目(Corundum: https://github.com/corundum/corundum)中, 都大量使用DMA, 今天咱们跟随大佬一起深入分析动态DMA映射原理及API
下面以最常用的 read() 和 write() 函数来介绍 Linux 的 I/O 处理流程。
平时在面试中你肯定会经常碰见的问题就是：RocketMQ为什么快？Kafka为什么快？什么是mmap？
DMA 的全称叫直接存储器访问（Direct Memory Access），是一种允许外围设备（硬件子系统）直接访问系统主内存的机制。
如上图所示，smmu 的作用和mmu 类似，mmu作用是替cpu翻译页表将进程的虚拟地址转换成cpu可以识别的物理地址。同理，smmu的作用就是替设备将dma请求的地址，翻译成设备真正能用的物理地址，但是当smmu bypass的时候，设备也可以直接使用物理地址来进行dma；
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
实时音视频
