在Linux中，透明巨页（Transparent HugePage）和巨页（HugePage）是两种不同的内存管理技术。 透明巨页是Linux内核中的一项特性，旨在提高内存的利用率和性能。它通过将内存分配为更大的巨页（通常为2MB或1GB），减少了对内存页表的访问次数，从而提高了内存访问的效率。透明巨页是透明的，应用程序无需进行任何修改即可受益于这种内存管理技术。 而巨页是指一种更大尺寸的内存页，在Linux中可以使用不同的页面大小，常见的巨页大小是2MB或1GB。巨页可以提供更高的内存访问性能，因为它减少了页表的数量，降低了TLB（Translation Lookaside Buffer）缓存的压力，从而减少了内存访问的开销。巨页需要应用程序进行适当的修改和配置才能使用。 因此，透明巨页和巨页都是通过增加内存页的尺寸来提高内存访问性能，但透明巨页不需要应用程序的修改，而巨页需要应用程序的支持和配置。
之前的文章介绍过 VMware 在 VMworld 上宣布的太平洋项目 (Project Pacific) ，这是 vSphere 向 Kubernetes 原生平台的演进。太平洋项目引入了 vSphere 主管集群（ Supervisor Cluster ）的概念，该集群能够在 ESXi 上原生地运行 Kubernetes Pod（称为 Native Pod ）。
学习过[跟我学Kafka源码之LogManager分析]的同学一定会问为什么Kafka大量使用了磁盘作为传统意义的缓存。
零拷贝（Zero-copy）是指计算机执行操作时，CPU不需要先将数据从某处内存复制到另一个特定区域。这种技术通常用于通过网络传输文件时节省CPU周期和内存带宽。
上一篇推文《百万并发「零拷贝」技术系列之初探门径》中的示例告诉我们：传统的I/O操作读取文件并通过Socket发送，需要经过4次上下文切换、2次CPU数据拷贝和2次DMA控制器数据拷贝，如下图
分区伙伴分配器概念 : Linux 内核 在 基本 伙伴分配器 基础上 , 增加了对 " 内存节点 “ 和 ” 内存区域 “ 的支持 , 这就是 ” 分区伙伴分配器 “ , 英文名称为 ” Zond Buddy Allocator " ;
本文列举四个比较经典的 Linux 收包引擎，如果还有其他你觉得ok的可以留言。这四个分别是：
Linux系统是虚拟内存系统，虚拟内存并不是真正的物理内存，而是虚拟的连续内存地址空间。虚拟内存又分为内核空间和用户空间，内核空间是内核程序运行的地方，用户空间是用户进程代码运行的地方，只有内核才能直接访问物理内存并为用户空间映射物理内存(MMU)。内核会为每个进程分配独立的连续的虚拟内存空间，并且在需要的时候映射物理内存，为了完成内存映射，内核为每个进程都维护了一张页表，记录虚拟地址与物理地址的映射关系，这个页表就是存在于MMU中；用户进程访问内存的时候，通过页表把虚拟内存地址转换为物理内存地址进而访问数据；其实对于用户进程而言，虚拟内存就是内存一般的存在(当作内存看待就好)。这样的设计可以把用户程序和系统程序分开，互不影响；内核可以对所有的用户程序进行管理，比如限制内存滥用等
前言： 乍一看，hugetlb和hugepage还挺像的，好像都是所谓的“大页”。然而，却很难说出来它们的差异。作者也是花了写时间翻翻代码，写了几个测试的例子，加上用工具据实测了几个关键参数，才明白。 分析： 1，page fault 用户大多数情况下申请内存的方法： a，使用malloc函数族，其实是glibc封装了brk/mmap。这种情况下分配的是虚拟内存，并没有直接分配物理内存。 b，调用brk分配，这种情况很少见，并只分配虚拟内存。 c，使用mmap，分配出来虚拟内存。如果flags带有MAP
本书基于linux 2．6介绍了linux内核的设计与实现，涵盖了从核心内核系统的应用到内核设计与实现等各方面内容，主要内容包括：进程管理、调度、时间管理和定时器、系统调用接口、内存寻址、内存管理、页缓存、vfs、内核同步、可移植性、调试技术等。此外，本书还讨论了linux 2．6颇具特色的内容，包括cfs调度程序、抢占式内核、块i／o层以及i／o调度程序。 本书详细描述了linux内核的主要子系统和特点，包括其设计、实现和接口，既介绍理论也讨论具体应用，填补了linux内核理论和实践细节之间的鸿沟。能够带领读者快速走进linux内核世界，真正开发内核代码。 如果你是一名linux内核爱好者，本书的内容可以帮助你大显身手。如果你是一名普通程序员，本书的内容将会拓宽你的编程思路。如果你初次接触linux内核，本书则可以帮助你对内核各个核心子系统有一个整体把握。 本版新增内容： ·增加一章专门描述内核数据结构 ·详细描述中断处理程序 ·扩充虚拟内存和内存分配的内容 ·调试linux内核的技巧 ·内核同步和锁机制的深度描述 ·提交内核补丁以及参与linux内核社区的建设性建议
本文深入研究了诸如 Rust、Go、Java、C#、Python、Node.js 和 Elixir 等流行编程语言在异步和多线程编程中的内存消耗对比。
Kafka 是比较常用的消息队列，我们都知道 Kafka 的吞吐量很大，即使是普通的服务器，Kafka也可以轻松支持每秒百万级的写入请求，超过了大部分的消息中间件，这种特性也使得Kafka在日志处理等海量数据场景广泛应用。
我们在cpu篇就提到，iowait高一般代表硬盘到瓶颈了。wait的意思，就是等，就像等正在化妆的女朋友，总是带着一丝焦躁。本篇是《荒岛余生》系列第四篇，I/O篇，计算机中最慢的那一环。其余参见：
零拷贝是一种计算机操作，其中计算机的操作系统减少了在从一个应用程序到另一个或从应用程序到操作系统的数据传输过程中所需的数据复制次数。这种技术尤其在处理大量数据时非常有用，因为它可以显著减少CPU的使用率，减少上下文切换，以及减少数据在系统中的传输时间。
我们看到，通过 DMA 芯片进行的硬盘读写过程需要进行四次特权级切换和四次拷贝操作。
默认情况下，每个Linux操作系统都有一个高效的内存管理系统，该系统用于定期清除缓冲区高速缓存。您可以使用以下简单命令手动释放内存缓存：
平时在面试中你肯定会经常碰见的问题就是：RocketMQ为什么快？Kafka为什么快？什么是mmap？
随着国内站长的基数不断增加，很多人都使用起了 linux VPS 来做为网站的基础，而linux 面板则成为了国人的最爱。因为手动编译 php 的各种基础环境包，对于大多数新手站长来说就是一个噩梦。幸好国内外出了不少免费版的 linux 面板，国外的不说，国内免费的就有WDCP 面板、AMH4.2 面板、宝塔 linux 面板等等。 AMH4.2 面板之后版本就开始收费了，自然会影响到新增用户的数量，WDCP 面板停滞了很久之后才开始升级，目前用户是挺多的，建站的功能倒是都全了，就是给人感觉后台的简洁程度不
对于此现象，我们在前文也知道了，这是由于进程的独立性，子进程在对数据进行修改时，会触发写时拷贝所造成的。但是，假如这里的地址是物理地址的话，同一块地址处却有不同的值，这肯定是不现实的。★因此，我们可以得出这样的结论：
Linux命令行对新手过于繁琐，安装应用环境难度有点大，需要安装很多依赖环境，对于目前主流的Linux管理程序非宝塔莫属，简单的管理页面提供了强大的功能，能够使你快速上手Linux系统来部署web环境
引言 传统的 Linux 操作系统的标准 I/O 接口是基于数据拷贝操作的，即 I/O 操作会导致数据在操作系统内核地址空间的缓冲区和应用程序地址空间定义的缓冲区之间进行传输。这样做最大的好处是可以减少磁盘 I/O 的操作，因为如果所请求的数据已经存放在操作系统的高速缓冲存储器中，那么就不需要再进行实际的物理磁盘 I/O 操作。但是数据传输过程中的数据拷贝操作却导致了极大的 CPU 开销，限制了操作系统有效进行数据传输操作的能力。 零拷贝（ zero-copy ）技术可以有效地改善数据传输的性能，在内核驱动程序（比如网络堆栈或者磁盘存储驱动程序）处理 I/O 数据的时候，零拷贝技术可以在某种程度上减少甚至完全避免不必要 CPU 数据拷贝操作。
说起来也是的悲伤的故事，上学期的linux差一分还是挂科了，老师也是够绝情，一分也不多给，没办法，最近也是忙着复习linux考试，这不，发现了deepin深度操作系统，第一眼看着感觉好漂亮，虽然是基于liunx开发的，但是界面还是和win很像，而且比win美观，我就想体验一波，第一次发现内存给少了，这边重新安装简单记录一下安装过程。
前言： 我大天朝人觉得什么东西含量不够，叫做有“水份”。内存的含量不足，叫“balloon”。作者是外语专业毕业的，感觉不同国度的人虽然语言不同，但是表达出来的东西很相似。有点意思～ 代码分析： 代码路径：linux-4.0.4/drivers/virtio/virtio_balloon.c 1，Linux的memory balloon的实现上，MODULE_DESCRIPTION是“Virtio balloon driver”，以及driver注册的逻辑中，都会提到virtio。简单来说，virtio是虚
这部分将简要介绍下NUMA架构的成因和具体原理，已经了解的读者可以直接跳到第二节。
版权声明：本文为博主原创文章，未经博主允许不得转载，更多请继续关注Carson_Ho https://blog.csdn.net/carson_ho/article/details/87685001
之前一直对 Binder 理解不够透彻，仅仅知道一些皮毛，所以最近抽空深入理解一下，并在这里做个小结。
Contos更新系统 下面是我自己更新时的流程： 📷 （注意备份数据，更新不会清除数据，但是要养成好习惯） 更新完内存使用量少了200M，应该是优化了吧。 一、查看当前版本 cat /etc/redhat-release //返回当前版本信息 CentOS Linux release 8.2.2004 (Core) 二、开始更新 //停止所有活动 sudo yum clean all //更新系统 sudo yum update 三、重启系统 sudo reboot 四、查看当前版本 cat /et
This error usually means that PostgreSQL's request for a shared memory segment exceeded available memory, swap space, or huge pages. To reduce the request size (currently 17667276800 bytes), reduce PostgreSQL's shared memory usage, perhaps by reducing shared_buffers or max_connections.
最近国外研究人员公布的一段exp代码能够在打完补丁的Fedora等Linux系统上进行drive-by攻击，从而安装键盘记录器、后门和其他恶意软件。 这次的exp针对的是GStreamer框架中的一个内存损坏漏洞，GStreamer是个开源多媒体框架，存在于主流的Linux发行版中。我们都知道，地址空间布局随机化（ASLR）和数据执行保护（DEP）是linux系统中两个安全措施，目的是为了让软件exp更难执行。 但新公布的exp通过一种罕见的办法绕过了这两种安全措施——国外媒体还专门强调了这个漏洞的“优
我们常常说到的操作系统有Linux、Windows、mac OS等等，手机的安卓系统就是基于Linux操作系统，这些操作系统从内核的角度分为宏内核和微内核，Linux是典型的宏内核的操作系统，Windows是典型的微内核操作系统。
在Linux系统下, 没有第三方的集成开发工具(如IDEA), 如何下载Jar包, 以及如何运行.java文件.
概述 考虑这样一种常用的情形：你需要将静态内容（类似图片、文件）展示给用户。那么这个情形就意味着你需要先将静态内容从磁盘中拷贝出来放到一个内存buf中，然后将这个buf通过socket传输给用户，进而
使用huge page，可以在TLB容量固定的情况下，提高TLB的命中率，即便TLB miss，因为减少了页表级数，也可以减少查找页表的时间。在内存虚拟化中，由于地址转换需要的级数更多，huge page能发挥的作用就显得更为重要。
在 Windows 上，共享库由 .dll 表示；在 Linux 上，由 .so 表示。
Linux系统中一切皆文件，仔细想一下Linux系统的很多活动无外乎读操作和写操作，零拷贝就是为了提高读写性能而出现的。
在Linux的内存分配机制中，优先使用物理内存，当物理内存还有空闲时(还够用)，不会释放其占用内存，就算占用内存的程序已经被关闭了，该程序所占用的内存用来做缓存使用，对于开启过的程序、或是读取刚存取过得数据会比较快。
实际上，零拷贝是有广义和狭义之分，目前我们通常听到的零拷贝，包括上面这个定义减少不必要的拷贝次数都是广义上的零拷贝。其实了解到这点就足够了。
究其原因，监控系统计算的可用内存算法有偏差，他只关注了计算机的“实际”内存，忽略了计算机的虚拟内存。
我们都知道 RocketMQ 和 Kafka 消息都是存在磁盘中的，那为什么消息存磁盘读写还可以这么快？有没有做了什么优化？都是存磁盘它们两者的实现之间有什么区别么？各自有什么优缺点? 今天我们就来一
相信不少的网友，在很多的博客文章里面，已经见到过零拷贝这个词，会不禁的发出一些疑问，什么是零拷贝？
缓冲区是所有 I/O 的基础，I/O 讲的无非就是把数据移进或移出缓冲区；进程执行 I/O
今天，我跟大家分享一个好玩的东西：WSL 2（Windows Subsystem for Linux 2）。WSL 2 很有意思，它是基于Hyper-V 功能的子集提供了“真正的 Linux 内核”。怎么理解这句话呢？大家设想，我们平时的研发办公环境需要Windows，而开发环境需要 Linux 系统，我们会怎么做？
众所周知，在fork时，属于进程private的内存页将会进行COW机制。所谓COW，就是一个资源如果需要值拷贝，在读时不创建出副本，仅当写时再创建。这样的话，就可以方便地判断出什么资源需要真的进行拷贝，而能够共享则无需拷贝，从而减少了复制的开销。
像大白这种调包侠，深知不懂底层技术点就如同空中楼阁，再这样下去面阿里p10是没希望了。
因为硬盘每次读写都会寻址和写入，其中寻址是一个耗时的操作。所以为了提高读写硬盘的速度，Kafka使用顺序I/O，来减少了寻址时间：收到消息后Kafka会把数据插入到文件末尾，每个消费者（Consumer）对每个Topic都有一个offset用来表示读取的进度。
疑惑一 初学者在北京能拿多少工资？ 很多初学者都有这种想法，学了编程开始能拿多少工资，其实这给问题很难给出准确的答案，因为编程的涉及到的行业太多了，每个行业入门的时候的工资又不相同，同一个行业不同能力的入职者工资水准也不尽相同，小编十年前在北京入职拿到3000块，还觉得挺高，后来打听到要公司要少了，那也没办法了，将就干吧。做了不到一年公司觉得做得还可以给弄到5000左右了，现在物价飞涨的今天估计小菜年入职最差4000-5000，当然小公司估计例外，要不然在北京连个房子也租不起了，想省钱可以住地下室，或者六环
vmstat命令是最常见的Linux/Unix监控工具，可以展现给定时间间隔的服务器的状态值,包括服务器的CPU使用率，内存使用，虚拟内存交换情况,IO读写情况。这个命令是我查看Linux/Unix最喜爱的命令，一个是Linux/Unix都支持，二是相比top，我可以看到整个机器的CPU,内存,IO的使用情况，而不是单单看到各个进程的CPU使用率和内存使用率(使用场景不一样)。 选项 -a：显示活动内页； -f：显示启动后创建的进程总数； -m：显示slab信息； -n：头信息仅显示一次； -s：以表格方式显示事件计数器和内存状态； -d：报告磁盘状态； -p：显示指定的硬盘分区状态； -S：输出信息的单位。 vmstat 3 procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu------ r b swpd free buff cache si so bi bo in cs us sy id wa st 0 0 320 42188 167332 1534368 0 0 4 7 1 0 0 0 99 0 0 0 0 320 42188 167332 1534392 0 0 0 0 1002 39 0 0 100 0 0 0 0 320 42188 167336 1534392 0 0 0 19 1002 44 0 0 100 0 0 0 0 320 42188 167336 1534392 0 0 0 0 1002 41 0 0 100 0 0 0 0 320 42188 167336 1534392 0 0 0 0 1002 41 0 0 100 0 0 一般vmstat工具的使用是通过两个数字参数来完成的，第一个参数是采样的时间间隔数，单位是秒，第二个参数是采样的次数 r 表示运行队列(就是说多少个进程真的分配到CPU)，我测试的服务器目前CPU比较空闲，没什么程序在跑，当这个值超过了CPU数目，就会出现CPU瓶颈了。这个也和top的负载有关系，一般负载超过了3就比较高，超过了5就高，超过了10就不正常了，服务器的状态很危险。top的负载类似每秒的运行队列。如果运行队列过大，表示你的CPU很繁忙，一般会造成CPU使用率很高。 b 表示阻塞的进程,这个不多说，进程阻塞，大家懂的。 swpd 虚拟内存已使用的大小，如果大于0，表示你的机器物理内存不足了，如果不是程序内存泄露的原因，那么你该升级内存了或者把耗内存的任务迁移到其他机器。 free 空闲的物理内存的大小，我的机器内存总共8G，剩余3415M。 buff Linux/Unix系统是用来存储，目录里面有什么内容，权限等的缓存，我本机大概占用300多M cache cache直接用来记忆我们打开的文件,给文件做缓冲，我本机大概占用300多M(这里是Linux/Unix的聪明之处，把空闲的物理内存的一部分拿来做文件和目录的缓存，是为了提高 程序执行的性能，当程序使用内存时，buffer/cached会很快地被使用。) si 每秒从磁盘读入虚拟内存的大小，如果这个值大于0，表示物理内存不够用或者内存泄露了，要查找耗内存进程解决掉。我的机器内存充裕，一切正常。 so 每秒虚拟内存写入磁盘的大小，如果这个值大于0，同上。 bi 块设备每秒接收的块数量，这里的块设备是指系统上所有的磁盘和其他块设备，默认块大小是1024byte，我本机上没什么IO操作，所以一直是0，但是我曾在处理拷贝大量数据(2-3T)的机器上看过可以达到140000/s，磁盘写入速度差不多140M每秒 bo 块设备每秒发送的块数量，例如我们读取文件，bo就要大于0。bi和bo一般都要接近0，不然就是IO过于频繁，需要调整。 in 每秒CPU的中断次数，包括时间中断 cs 每秒上下文切换次数，例如我们调用系统函数，就要进行上下文切换，线程的切换，也要进程上下文切换，这个值要越小越好，太大了，要考虑调低线程或者进程的数目,例如在apache和nginx这种web服务器中，我们一般做性能测试时会进行几千并发甚至几万并发的测试，选择web服务器的进程可以由进程或者线程的峰值一直下调，压测，直到cs到一个比较小的值，这个进程和线程数就是比较合适的值了。系统调用也是，每次调用系统函数，我们的代码就会进入内核空间，导致上下文切换，这个是很耗资源
当别人问我们Redis这么快的时候，很多小白都只会简简单单的回答，因为Redis它是基于内存存储的，使用内存存储数据，可以避免频繁的进行写盘操作，大大降低响应时间。这个确实是一个原因，但回答的还是不够面。起码在这里还得回答上高效的数据结构以及IO网络多路复用的设计架构。
2018年里，Linux运维的职位数量和平均薪资水平仍然持续了去年的强劲增幅，比很多开发岗位涨的都快。从研究机构的数据来看，Linux职位数量和工资水平涨幅均在IT行业的前五之列，比去年的表现还要好一点。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
云直播
