基于流的操作最终会调用read或者write函数进行I/O操作。为了使程序的运行效率最高，流对象通常会提供缓冲区，以减少调用系统I/O库函数的次数。
C/C++中，基于I/O流的操作最终会调用系统接口read()和write()完成I/O操作。为了使程序的运行效率最高，流对象通常会提供缓冲区，以减少调用系统I/O接口的调用次数。
C/C++中，基于 I/O 流的操作最终会调用系统接口 read() 和 write() 完成 I/O 操作。为了使程序的运行效率最高，流对象通常会提供缓冲区，以减少调用系统I/O接口的调用次数。
如果一台代理服务器上面配置了多个域名，可以在每个域名的location区域设置，在这里配置的参数会覆盖nginx.conf的全局配置参数，从而对不同域名的业务需要进行针对性的设置
对超过4,238种不同Android手机型号/版本进行了音频延迟测试，数据表明Android在音频延迟问题上得到了很大改进，但随着当前媒体技术的发展，Android的这些优化还远远不够。迄今为止，Android N在音频延迟方面有任何改进，音频的延迟问题仍然制约着Android音频应用的发展。
在开发 socket 应用程序时，首要任务通常是确保可靠性并满足一些特定的需求。利用本文中给出的 4 个提示，您就可以从头开始为实现最佳性能来设计并开发 socket 程序。本文内容包括对于 Sockets API 的使用、两个可以提高性能的 socket 选项以及 GNU/Linux 优化。
在前面文章《LTE模组可以被VPP直接接管喽！！！》中介绍使用af-packet插件将linux 内核接口映射到vpp中，并通过vpp dhcp client插件实现lte拨号上网的功能，本文主要介绍af packet实现机制，对阅读代码有所帮助。
上一篇《不可不知的Linux中三种缓冲模式》中说到了三种缓冲类型，这一篇主要讲与缓冲相关的函数，这些函数可以修改默认的缓冲类型，及在实际中可能遇到的问题。
此前的文章中，我们介绍了 tcp 协议的基本概念和连接的建立与终止 最后，我们介绍了“经受时延的确认”，这是一种将 ACK 包与下一条数据包合并发送的策略，这样可以尽量减少发往网络的报文，以提高传输的效率，节省网络资源。 除此之外，TCP 还有很多其他算法和策略用来优化网络的使用。
用户态进程通过write()系统调用切到内核态将用户进程缓冲区中的HTTP报文数据通过Tcp Process处理程序为HTTP报文添加TcpHeader，并进行CPU copy写入套接字发送缓冲区，每个套接字会分别对应一个Send-Q(发送缓冲区队列)、Recv-Q(接收缓冲区队列)，可以通过ss -nt语句获取当前的套接字缓冲区的状态；
TCP 性能的提升不仅考察 TCP 的理论知识，还考察了对于操作系统提供的内核参数的理解与应用。
我的 Linux系统上有多少可用 RAM内存？是否有足够的可用内存来安装和运行新应用程序？ 在 Linux系统中，可以使用free命令获取系统内存使用情况的详细报告。 free命令显示系统使用和空闲的内存情况，包括物理内存、交互区内存(swap)和内核缓冲区内存
Linux内核是高并发服务的关键组件之一。以下是一些可用于优化Linux内核的配置。
Redis 是一种内存数据库，将数据保存在内存中，读写效率要比传统的将数据保存在磁盘上的数据库要快很多。所以，监控 Redis 的内存消耗并了解 Redis 内存模型对高效并长期稳定使用 Redis 至关重要。
内存管理是Linux系统重要的组成部分。为了解决内存紧缺的问题，Linux引入了虚拟内存的概念。为了解决快速存取，引入了缓存机制、交换机制等。
java 程序是运行在jvm 虚拟机里面的，离开jvm虚拟机，那么java程序无法直接在linux平台的运行。 所以java应用程序和os 平台之间是隔着jvm虚拟机的。 所谓的jvm虚拟机，本质上就是一个进程，此时它的内存模型和普通的进程有相同之处，但它又是java程序的管理者，所以它又有自己独特的内存模型. 从os层面来看jvm的进程，其内存模型包含如下几个部分： 内核内存 + jvm的code + jvm的data + jvm的 heap + jvm的stack + unused memory. 其中的heap, stack 就是我们常说的“堆栈” 空间. 我们更多需要从jvm作为java程序管理者的角度来看其内存模型： 此时jvm的内存空间可以分为两大类，分别是 “堆内存” 以及“非堆内存”，其中前者是可以分配给java程序使用的，而后者则是jvm进程自己使用的。 所以“堆内存”是我们要讨论的重点：
参数释义： sock：网络文件描述符 level：选项所在协议层。 如果想要在套接字层面上进行配置，则将此项设置为SOL_SOCKET。 optname：需要访问的选项名 （后面会有）（取决于level） optval：对于getsockopt()，指向返回选项值的缓冲。对于setsockopt()，指向包含新选项值的缓冲。 optlen：对于getsockopt()，作为入口参数时，选项值的最大长度。作为出口参数时，选项值的实际长度。对于setsockopt()，现选项的长度。
环形缓冲区通常有一个读指针和一个写指针。读指针指向环形缓冲区中可读的数据，写指针指向环形缓冲区中可写的缓冲区。通过移动读指针和写指针就可以实现缓冲区的数据读取和写入。在通常情况下，环形缓冲区的读用户仅仅会影响读指针，而写用户仅仅会影响写指针。如果仅仅有一个读用户和一个写用户，那么不需要添加互斥保护机制就可以保证数据的正确性。如果有多个读写用户访问环形缓冲区，那么必须添加互斥保护机制来确保多个用户互斥访问环形缓冲区。
free 命令显示系统内存的使用情况，包括物理内存、交换内存(swap)和内核缓冲区内存。
操作系统：ubuntu18.04 X64位 和 嵌入式Linux操作(ARM)
不同版本的操作系统的 buffer_head 代表的大小可能不一样，但是都是内存和硬盘交换数据的基本单元。
原文链接:https://rumenz.com/rumenbiji/linux-free.html
传统的 Linux 操作系统的标准 I/O 接口是基于数据拷贝操作的，即 I/O 操作会导致数据在操作系统内核地址空间的缓冲区和应用程序地址空间定义的缓冲区之间进行传输。这样做最大的好处是可以减少磁盘 I/O 的操作，因为如果所请求的数据已经存放在操作系统的高速缓冲存储器中，那么就不需要再进行实际的物理磁盘 I/O 操作。但是数据传输过程中的数据拷贝操作却导致了极大的 CPU 开销，限制了操作系统有效进行数据传输操作的能力。
《王道考研复习指导》 管道通信是消息传递的一种特殊方式。所谓“管道”，是指用于连接一个读进程和一个写进程以实现它们之间通信的一个共享文件，又名pipe文件。向管道（共享文件）提供输入的发送进程（即写进程），以字符流的形式将大量的数据送入（写）管道；而接受管道输出的接受进程（即读进程），则从管道接受（读）数据。为了协调双方的通信，管道机制必须提供一下三个方面的协调能力：互斥、同步和确定对方存在。 下面以linux的管道为例进行说明。在linux中，管道是一种频繁使用的通信机制。从本质上讲，管道也是一种文件，但它又和一般的文件有所不同，管道可以克服使用文件通信的两个问题，具体表现为： 1）限制管道的大小。实际上，管道是一个固定大小的缓冲区。在Linux中，该缓冲区的大小为4KB，使得它不像文件那样不加检验的增长。使用单个固定缓冲区也会带来问题，比如在写管道时可能变满，当这种情况发生时，随后对写管道的write()调用将默认的阻塞，等待某些数据被读取，以便腾出足够的空间供write()调用写。 2)读进程也可能工作的比写进程快。当所有当前进程数据已被读走时，管道变空。当这种情况发生时，一个随后的read()调用将默认设置为阻塞，等待某些数据被写入，这解决了read()调用返回文件结束的问题。 注意 ：从管道读数据是一次性操作，数据一旦被读走，它就从管道中被抛弃，释放空间以便写更多的数据。管道只能采用半双工通信，即在某一时刻只能单向传输。要实现父子进程双方互动，需要定义两个管道。
原文链接:https://rumenz.com/rumenbiji/linux-free.html 微信公众号:入门小站
int setsockopt( SOCKET s, int level, int optname, const char* optval, int optlen );
在选择压缩算法的时候，首先要考虑的就是压缩比和压缩速率。压缩比主要是为了节省网络带宽和磁盘存储空间，而压缩速率主要影响吞吐量。
接触过网络开发的人，大抵都知道，上层应用使用send函数发送数据，使用recv来接收数据，而send和recv的实现原理又是怎样的呢？
今天继续来讲面试，已经出了将近十个美团java一面真题系列文章了，今天来讲一讲Linux命令相关内容，在全球超级计算机TOP500强操作系统排行榜中，Linux的占比最近十几年长期保持在85%以上，且一直呈现快速上升趋势。根据2016年的排行榜，Linux的占比已经高达98.80%。其实在各种大、中小型企业的服务器应用领域，Linux系统的市场份额也越来越接近这个比例，这足以说明Linux的表现是多么出色。所以面试的时候却经常会被问到，我们根据面经来进行补短板，查漏补缺。下面开始今天的干货内容吧，走起，记得点赞，点击在看哦。
net.ipv4.ip_local_port_range = 9000 65500
本文将从上层介绍Linux上的TCP/IP栈是如何工作的，特别是socket系统调用和内核数据结构的交互、内核和实际网络的交互。写这篇文章的部分原因是解释监听队列溢出(listen queue overflow)是如何工作的，因为它与我工作中一直在研究的一个问题相关。
Video设备产生的数据较多，传统的缓冲机制已不能满足需求。为此，Linux内核抽象出了videobuf2机制，用于管理存放视频图像的帧缓冲。videobuf2抽象层像一座桥梁，将用户空间和V4L2 driver连接起来。videobuf2抽象层向用户空间提供了标准POSIX I/O系统调用，包括read、poll及mmap等，同时还提供了大量与流式I/O相关的V4L2 ioctl调用，包括缓冲区分配、缓冲区入队、缓冲区出队及流控制。虽然使用videobuf2会给驱动程序强加一些设计决策，但是使用它的收益是videobuf2可以减少驱动程序代码和保持V4L2子系统在用户空间API的一致性，显然使用videobuf2更为合理。
net.core.netdev_max_backlog = 400000 #该参数决定了，网络设备接收数据包的速率比内核处理这些包的速率快时，允许送到队列的数据包的最大数目。 net.core.optmem_max = 10000000 #该参数指定了每个套接字所允许的最大缓冲区的大小 net.core.rmem_default = 10000000 #指定了接收套接字缓冲区大小的缺省值（以字节为单位）。 net.core.rmem_max = 10000000 #指定了接收套接字缓冲区大小的最大值（以字节为单位）。 net.core.somaxconn = 100000 #Linux kernel参数，表示socket监听的backlog(监听队列)上限 net.core.wmem_default = 11059200 #定义默认的发送窗口大小；对于更大的 BDP 来说，这个大小也应该更大。 net.core.wmem_max = 11059200 #定义发送窗口的最大大小；对于更大的 BDP 来说，这个大小也应该更大。 net.ipv4.conf.all.rp_filter = 1 net.ipv4.conf.default.rp_filter = 1 #严谨模式 1 (推荐) #松散模式 0 net.ipv4.tcp_congestion_control = bic #默认推荐设置是 htcp net.ipv4.tcp_window_scaling = 0 #关闭tcp_window_scaling #启用 RFC 1323 定义的 window scaling；要支持超过 64KB 的窗口，必须启用该值。 net.ipv4.tcp_ecn = 0 #把TCP的直接拥塞通告(tcp_ecn)关掉 net.ipv4.tcp_sack = 1 #关闭tcp_sack #启用有选择的应答（Selective Acknowledgment）， #这可以通过有选择地应答乱序接收到的报文来提高性能（这样可以让发送者只发送丢失的报文段）； #（对于广域网通信来说）这个选项应该启用，但是这会增加对 CPU 的占用。 net.ipv4.tcp_max_tw_buckets = 10000 #表示系统同时保持TIME_WAIT套接字的最大数量 net.ipv4.tcp_max_syn_backlog = 8192 #表示SYN队列长度，默认1024，改成8192，可以容纳更多等待连接的网络连接数。 net.ipv4.tcp_syncookies = 1 #表示开启SYN Cookies。当出现SYN等待队列溢出时，启用cookies来处理，可防范少量SYN攻击，默认为0，表示关闭； net.ipv4.tcp_timestamps = 1 #开启TCP时间戳 #以一种比重发超时更精确的方法（请参阅 RFC 1323）来启用对 RTT 的计算；为了实现更好的性能应该启用这个选项。 net.ipv4.tcp_tw_reuse = 1 #表示开启重用。允许将TIME-WAIT sockets重新用于新的TCP连接，默认为0，表示关闭； net.ipv4.tcp_tw_recycle = 1 #表示开启TCP连接中TIME-WAIT sockets的快速回收，默认为0，表示关闭。 net.ipv4.tcp_fin_timeout = 10 #表示如果套接字由本端要求关闭，这个参数决定了它保持在FIN-WAIT-2状态的时间。 net.ipv4.tcp_keepalive_time = 1800 #表示当keepalive起用的时候，TCP发送keepalive消息的频度。缺省是2小时，改为30分钟。 net.ipv4.tcp_keepalive_probes = 3 #如果对方不予应答，探测包的发送次数 net.ipv4.tcp_keepalive_intvl = 15 #keepalive探测包的发送间隔 net.ipv4.tcp_mem #确定 TCP 栈应该如何反映内存使用；每个值的单位都是内存页（通常是 4KB）。 #第一个值是内存使用的下限。 #第二个值是内存压力模式开始对缓冲区使用应用压力的上限。 #第三个值是内存上限。在这个层次上可以将报文丢弃，从而减少对内存的使用。对于较大的 BDP 可以增大这些值（但是要记住，其单位是内存页，而不是字节）。 net.ipv4.tcp_rmem #与 tcp_wmem 类似，不过它表示的是为自动调优所使用的接收缓冲区的值。 net.ipv4.tcp_wmem = 30000000 30000000 30000000 #为自动调优定义每个 socket 使用的内存。 #第一个值是为 socket 的发送缓冲区分配的最少字节数。 #第二个值是默认值（该
相关参数仅供参考，具体数值还需要根据机器性能，应用场景等实际情况来做更细微调整。
在 C语言 的文件流中，存在一个 FILE 结构体类型，其中包含了文件的诸多读写信息以及重要的文件描述符 fd，在此类型之上，诞生了 C语言 文件相关操作，如 fopen、fclose、fwrite 等，这些函数本质上都是对系统调用的封装，因此我们可以根据系统调用和缓冲区相关知识，模拟实现出一个简单的 C语言 文件流
如图，当我们查看内存信息时，通常会使用vmstat或free命令。在使用vmstat -S M时，会看到下面的结果。
对每个人而言，真正的职责只有一个：找到自我。然后在心中坚守其一生，全心全意，永不停息。所有其它的路都是不完整的，是人的逃避方式，是对大众理想的懦弱回归，是随波逐流，是对内心的恐惧 ——赫尔曼·黑塞《德米安》
CVE-2021-3156：Sudo中基于堆的缓冲区溢出 (Baron Samedit)
RIFFA 是一种开源通信架构，它允许通过 PCIe 在用户的 FPGA IP 内核和 CPU 的主存储器之间实时交换数据。为了建立其逻辑通道，RIFFA 在 CPU 端拥有一系列软件库，在 FPGA 端拥有 IP 核。本文主要针对其中的DMA性能（Scatter-Gather DMA）进行测试。
有时候我们要控制套接字的行为(如修改缓冲区的大小),这个时候我们就要控制套接字的选项了. 以下资料均从网上收集得到 getsockopt 和 setsockopt 获得套接口选项：
性能优化，反复被提起，想要做到性能优化，先要理解性能优化，知其然才知其所以然，所谓的高性能就是合理的运用服务器的硬件资源，主要是Cpu和内存，硬盘，用大量的测试和计算，合理的计算使用服务器的资源，提升响应速度，提高吞吐率，就是性能优化的知识点。
%us: 表示用户空间程序的cpu使用效率 %sy:表示系统空间程序的cpu使用效率 %ni: 表示用户空间通过nice调度过的程序的cpu使用效率 %id: 空闲cpu %wa:cpu运行时等待io的时间 %hi: cpu运行过程中硬中断的数量 %si: cpu处理软中断的数量 %st: 被虚拟机偷走的cpu
随着科技的飞速发展，计算需求日益复杂和多样化，传统的单核处理器已难以满足所有应用场景的需求。在这样的背景下，异构多核系统应运而生，成为推动计算领域进步的重要力量。异构多核系统不仅提高了计算效率，还优化了能耗，为众多领域带来了革命性的变革。
我们以用户通过网络读取一个本地磁盘上文件为例，在说零拷贝之前，我们先要说说一个普通的IO操作是怎样做的
演示环境，操作系统：Win10 21H2（64bit）；Python解释器：3.8.10。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
