标准文件访问方式 ---- 直接IO方式 OPEN +O_DIRECT = 绕过内核缓冲区的直接访问,有效避免了CPU和内存的多余时间开销。要求内存边界对齐。...直接IO,绕过缓存,不会出现write成功数据丢失情况。...注意:直接IO的缺点就是如果访问的数据不在应用程序缓存中,那么每次数据都会直接从磁盘进行加载,这种直接加载会非常慢,通常直接IO跟异步IO结合使用会得到较好的性能。...---- O_SYNC 缓存同步 为了保证磁盘系统与缓冲区内容一致,Linux系统提供了sync,fsync,fdatasync三个函数。...---- Linux文件IO流程图 内核中会有一个线程,不断地将高速页缓冲区中的数据写入到物理磁盘中。
今天我们要学习的是基础IO部分,主要涉及内存和外设之间的数据交互。接下来,就让我们共同探讨这部分内容吧,那我们就开始吧!...本文章重点: 复习C文件IO相关操作 认识文件相关系统调用接口 认识文件描述符,理解重定向 对比fd和FILE,理解系统调用和库函数的关系 理解文件系统中inode的概念 认识软硬链接,对比区别 认识动态静态库...3.read函数 read函数是Linux下的一个系统调用接口,C语言的fread函数的底层就是read。作用为从一个特定的文件流中读取内容。...返回值 如果读取成功的话,返回读取到的元素的个数。...4.close函数 close函数也是Linux下的一个系统调用接口,C语言的fclose底层就是close。 参数 fd:就是调用open时的返回值,本质是第一个文件描述符。
本文将结合用户态的接口以及内核态的实现剖析文件IO。...Reference: The Linux Programming Interface: Chapter 4/14/15, Kernel/fs 通用接口 通用IO包含open/read/write/close...文件创建标志 - 创建以及后续IO的选项,不可读写。...因为这个原因,写操作并不能实时的进行持久化,需要linux使用journal机制来保证文件系统的崩溃一致性,然而journal机制本身又需要进行flush。...---- Ioctl 非通用的IO操作,通过指定的request值表示操作,后续传递参数的类型通过request的值进行解释。
1.4.2 访问文件的本质 问题1:以前我们学C语言的时候,fopen的返回值是一个FILE* 那个时候我们知道这个是C库封装的一个结构体,但是为什么系统调用解决ooen的返回值是一个整形呢??? ...write是系统调用接口,用来向指定的文件描述符文件输出内容,其中 buf:表示我们要写入的内容,是void* 也就是说他并不限制你传什么内容 count:期望(最多)写多少字节的内容 返回值ssize_t...三个流的理解 printf是C库函数 底层封装的时候默认向 stdout的1号描述符里写入,所以如果你把1号给关了,printf底层调用write这个函数会失败,但是printf本身并不知道,所以他是有返回值的...4、理解了Linux的一切皆文件后,懂得了文件操作的底层,即使以后在使用其他语言的文件操作时对接口不熟,但只要给时间查一下,很快就会懂得怎么用了!!...缓冲区的大小 #define FLUSH_NOW 1 //立刻刷新 #define FLUSH_LINE 2 //行刷新 #define FLUSH_ALL 4 //全刷新 typedef struct IO_FILE
操作文件的本质:进程在操作文件------>因此探讨的是进程与文件的关系. 1.2:默认打开的三个流 我们都知道在Linux下一切皆文件,也就是说Linux下的任何东西都可以看作是文件,那么显示器和键盘当然也可以看作是文件...我们在Linux平台下运行C代码时,C库函数就是对Linux系统调用接口进行的封装,在Windows平台下运行C代码时,C库函数就是对Windows系统调用接口进行的封装,这样做使得语言有了跨平台性,也方便进行二次开发...umask的默认值一般为0002,当我们设置mode值为0666时实际创建出来文件的权限为0664。...O_CREAT,0666); if(fd < 0) { perror("open"); exit(-1); } return 0; } open函数的返回值是新打开文件的文件描述符...在Linux操作系统中提供了系统接口dup2,我们可以使用该函数完成重定向。
件在磁盘⾥ 磁盘是永久性存储介质,因此⽂件在磁盘上的存储是永久性的 磁盘是外设(即是输出设备也是输⼊设备) 磁盘上的⽂件 本质是对⽂件的所有操作,都是对外设的输⼊和输出 简称 IO...不过,在认识系统⽂件IO之前,先要了解下如何给函数传递标志位,该⽅法在系统⽂件IO接⼝中会使⽤到: 2.1⼀种传递标志位的⽅法 # include # define...2.5open函数返回值 在认识返回值之前,先来认识⼀下两个概念: 系统调⽤ 和 库函数 上⾯的 fopen fclose fread fwrite 都是C标准库当中的函数,我们称之为库函数...这样做最明显的好处是,开发者仅需要使⽤⼀套 API 和开发⼯具,即可调取 Linux 系统中绝⼤部分的资源。...⼀个⾮负返回值代表了成功读取的字节数 ( 返回值是⼀个 "signed size" 类型 , 常常是⽬标平台本地的整数类型 ). 8 ssize_t (*write) (struct
而从步骤3到步骤5中间会涉及到大量 Linux IO 的原理,特别是Page Cache 和 Buffer Cache 等缓存。...Linux IO 缓存体系,stdio和内核缓存的区别,Page Cache和Buffer Cache的区别。 Buffered IO、mmap(2)、Direct IO的区别。...综上,既然讨论 Linux 下的 IO 操作,自然是跳过 stdio 库的用户态这一堆东西,直接讨论系统调用层面的概念了。对 stdio 库的 IO 层有兴趣的同学可以自行去了解。...所以后面的讨论基本上是讨论 IO 相关的系统调用和文件系统Page Cache的一些机制。 Linux内核中的IO栈 这一小节来看 Linux 内核的 IO 栈的结构。先上一张全貌图[4]: ?...设备层,通过 DMA 与内存直接交互,完成数据和具体设备之间的交互 结合这个图,想想Linux系统编程里用到的Buffered IO、mmap(2)、Direct IO,这些机制怎么和 Linux IO
fdset 从用户态拷贝到内核态,在高并发下是个巨大的性能开销(可优化为不拷贝); 调用 select 阻塞后,用户进程虽然没有轮询,但在内核还是通过遍历的方式来检查 fd 的就绪状态(可通过异步 IO.../linux/posix_types.h: # define __FD_SETSIZE 1024 此外在 Linux 内核中,select 所用到的 FD_SET 是有限的,即内核中有个参数...返回值: 是就绪文件描述符的数量,或者在超时或出错时返回 0。...在 Linux 2.4 内核前主要是 select 和 poll,自 Linux 2.6 内核正式引入 epoll 以来,epoll 已经成为了目前实现高性能网络服务器的必备技术。...以下是一个简单的 Java AIO 示例 import java.io.IOException; import java.net.InetSocketAddress; import java.nio.ByteBuffer
Linux 中主要有五种IO模式:阻塞IO, 非阻塞IO, IO 多路复用,信号驱动IO和异步IO; 如果从同步非同步,阻塞非阻塞角度来看,又可以分为:同步阻塞IO, 同步非阻塞IO,异步阻塞IO和异步非阻塞...IO; 每种IO模型,都有自己的使用模式,他们对于特定的应用程序都有自己的优点:其简单分布如下图所示 ?...每种IO模型都有自己的使用场景,他们对于特定的应用程序都有自己的优点; 具体可参考:https://blog.csdn.net/tjiyu/article/details/52959418 XXX TO-DO
IO的五种模型 IO是什么?...返回值有三种情况: n>0:有n个fd就绪了。 n==0:超时,没有出错,但是也没有fd就绪 n<0:出错了 第一个参数 要等待的文件描述符最大值+1....自从 linux2.6.8 之后,size 参数是被忽略的。用完之后, 必须调用 close()关闭。...返回值是已经就绪的fd的个数。...4.返回值n表示有几个fd事件就绪了,就绪事件是连续的。这样就可以根据返回值个数遍历,遍历几个就处理几个,这样就不会有浪费的动作。
前言: 在信息技术日新月异的今天,Linux操作系统以其强大的稳定性和灵活性,成为了服务器、嵌入式系统以及众多开发者心中的首选平台。...而在Linux系统的广阔天地中,I/O(输入/输出)操作无疑是连接用户与硬件、软件之间的桥梁,其性能的优化直接关系到整个系统的响应速度和数据处理能力。...深入探索Linux的I/O模型,我们不难发现,这些模型不仅仅是数据流动的通道,更是理解系统并发处理、资源调度以及性能调优的关键所在。...让我们一同开启这段充满挑战与收获的旅程,探索Linux高级I/O模型的奥秘,为打造更加出色的系统应用奠定坚实的基础。...总结 随着本文的收尾,我们共同完成了对Linux高级I/O模型中五种核心机制的深入探索。
对应到Linux的Page Cache上所谓Write Through就是指write(2)操作将数据拷贝到Page Cache后立即和下层进行同步的写操作,完成下层的更新后才返回。...Linux下Buffered IO默认使用的是Write back机制,即文件操作的写只写到Page Cache就返回,之后Page Cache到磁盘的更新操作是异步进行的。...磁盘的性能测试 在具体的机器上跑服务程序,如果涉及大量IO的话,首先要对机器本身的磁盘性能有明确的了解,包括不限于IOPS、IO Depth等等。...一般SSD的IO Depth都在32甚至更高,使用32或者64个线程才能跑满一个SSD磁盘的带宽(同步IO情况下)。 具体的SSD原理不在本文计划内,这里给出一篇详细的参考文章[7]。...写在最后 每天抽出不到半个小时,零零散散地写了一周,这是说是入门都有些谬赞了,只算是对Linux下的IO机制稍微深入的介绍了一点。
不止是这些的C语言中的对于代码的修改,在Linux操作系统上的echo进行重定向,也能够对文件内容进行修改,所以输出重定向一定是文件操作,并且每次重定向写入的方式是先清空,再写入,其实根本上,这个输出重定向也就是按照...open函数的第一种方式代表的通常都是操作一些已经存在的文件,因为如果直接创建的话,在Linux操作系统中,我们不知道,我们创建的文件的权限是什么,所以说有的时候还会让我们创建的文件的权限出现乱码的情况...现在还有一个问题就是open的返回值问题 我们可以通过程序来帮助我们来判断返回值是什么。 可是我们函数的返回值为什么是从3开始的呢?...所以系统调用的open返回值和语言层面的stdin,stdout,stderr之间是不是也存在着关系?...由于Linux操作系统一切皆文件,所以其中显示器,键盘的外设,也能够存在于sturct file链表中,所以就有了之前的0,1,2。 对于硬件来说的一切皆文件示意图。
返回值:实际写了多少字节数据 } close(fd); return 0; } hello.c 读文件 #include #include #include...需要使用mode选项,来指明新文件的访问权限 O_APPEND: 追加写 返回值: 成功:新打开的文件描述符 失败:-1 mode_t 理解:直接 man 手册,比什么都清楚。...write read close lseek ,类比C文件相关接口 open函数返回值 上面的 fopen fclose fread fwrite 都是C标准库当中的函数,我们称之为库函数(libc)...FILE 因为IO相关函数与系统调用接口对应,并且库函数封装系统调用,所以本质上,访问文件都是通过fd访问的。 所以C库当中的FILE结构体内部,必定封装了fd。...[root@localhost linux]# touch abc [root@localhost linux]# ln abc def [root@localhost linux]# ls -1i
Linux多种IO模型阻塞IO阻塞IO模型中,用户进程在内核等待网卡数据和内核数据拷贝到用户缓冲区两个阶段都处于等待状态。...IO多路复用无论是阻塞IO还是非阻塞IO,用户应用在一阶段都需要调用recvfrom来获取数据,差别在于无数据时的处理方案:如果调用recvfrom时,恰好 没有 数据,阻塞IO会使进程阻塞,非阻塞IO...文件描述符(File Descriptor): 简称FD,是一个从0开始递增的无符号整数,用来 关联 Linux中的一个文件。...在Linux中,一切皆文件,例如常规文件、视频、硬件设备等,当然也包括网络套接字(Socket)。...注意:返回值是就绪的 fd 数量,而不是具体 fd。5.用户空间遍历用户程序在自己的 fd_set 中遍历,找出已就绪的 fd,然后调用 read() 或 write() 去处理数据。
前言 Linux 文件 IO 操作指的是在 Linux 系统上对文件进行读取和写入的操作。它是通过与文件系统交互来读取和写入文件中的数据。...在 Linux 中,文件被视为一系列字节的有序集合,每个文件都有一个相关联的文件描述符,用于标识该文件的唯一标识符。文件 IO 操作允许程序从文件读取数据或将数据写入文件。...文件 IO 操作通常包括以下几个主要方面: open函数 int open(char *pathname, int flags); -->#include 参数: pathname...与睡眠状态相对的是运行状态,在Linux内核中,处于运行状态的进程分为两种状态: 正在被调度执行。...读,写使用同一偏移位置 2.使用lseek获取文件大小 3.使用lseek拓展文件大小,要想使文件大小真正拓展,必须要引起IO操作。
int open(const char *pathname, int flags); int open(const char *pathname, int flags, mode_t mode); 返回值:
前言: 在刚开始学习Linux的时候,我们记住了Linux下一切皆文件,我们通过这篇文章来深入了解Linux下文件的构成及应用。...返回值: 表示写入的基本单位的个数,也就是第三个参数。 fgets fgets:读取一个字符串。...✈️三个文件流 刚开始接触Linux的时候,我们都知道有句话叫做:Linux下一切皆文件,那么键盘、显示器、网卡、声卡等等这些对于Linux来说都是文件! ...文件描述符fd 文件描述符在上文中不止出现了一次,包括 open 函数的返回值,close 函数的参数等等,从其出现的频率来看,似乎是很重要的一个东西。...✈️认识文件描述符 既然open 函数返回值是文件描述符,那么我们可以创建多个open函数,使用多个返回值接收并且打印来观察现象: #include #include<sys/types.h
Linux 标准 I/O(Standard I/O)库提供了一组函数,用于进行高级别的文件输入和输出操作。它建立在底层文件 I/O 系统调用之上,为开发者提供了更方便、更高级别的文件处理方式。...以下是一些常用的 Linux 标准 I/O 库函数: 1. 文件指针 标准 I/O 使用 FILE 结构表示文件流,通过文件指针(FILE*)进行操作。...\n"); perror("An error occurred"); return 0; } 以上是 Linux 标准 I/O 库的一些高级特性,包括缓冲机制、输入输出重定向和文件描述符的复制
本文主要讨论磁盘IO操作,故只聚焦于Local Disk的访问特性和其与DRAM之间的数据交互。 无处不在的缓存 ?...图中描述了Linux下文件操作函数的层级关系和内存缓存层的存在位置。中间的黑色实线是用户态和内核态的分界线。...在Linux下,文件的缓存习惯性的称之为Page Cache,而更低一级的设备的缓存称之为Buffer Cache....综上,既然讨论Linux下的IO操作,自然是跳过stdio库的用户态这一堆东西,直接讨论系统调用层面的概念了。对stdio库的IO层有兴趣的同学可以自行去了解。...所以下篇的讨论基本上是讨论IO相关的系统调用和文件系统Page Cache的一些机制。 (未完待续...)