实际上不管是内存还是磁盘,快或慢关键在于寻址的方式,磁盘分为顺序读写与随机读写,内存也一样分为顺序读写与随机读写。...基于磁盘的随机读写确实很慢,但磁盘的顺序读写性能却很高,一般而言要高出磁盘随机读写三个数量级,一些情况下磁盘顺序读写性能甚至要高于内存随机读写,这里给出著名学术期刊 ACM Queue 上的一张性能对比图...磁盘的顺序读写是磁盘使用模式中最有规律的,并且操作系统也对这种模式做了大量优化,Kafka就是使用了磁盘顺序读写来提升的性能。...零拷贝 这里主要讲的是Kafka利用linux操作系统的 "零拷贝(zero-copy)" 机制在消费端做的优化。...linux操作系统 "零拷贝" 机制使用了sendfile方法,允许操作系统将数据从Page Cache 直接发送到网络,只需要最后一步的copy操作将数据复制到 NIC 缓冲区,这样避免重新复制数据。
Kafka虽然是基于磁盘做的数据存储,但却具有高性能、高吞吐、低延时的特点,其吞吐量动辄几万、几十上百万,这其中的原由值得我们一探究竟。...本文属于Kafka知识扫盲系列,让我们一起掌握Kafka各种精巧的设计。 零拷贝 这里主要讲的是Kafka利用linux操作系统的 "零拷贝(zero-copy)" 机制在消费端做的优化。...首先来了解下数据从文件发送到socket网络连接中的常规传输路径: 操作系统从磁盘读取数据到内核空间(kernel space)的Page Cache 应用程序读取Page Cache的数据到用户空间...linux操作系统 "零拷贝" 机制使用了sendfile方法,允许操作系统将数据从Page Cache 直接发送到网络,只需要最后一步的copy操作将数据复制到 NIC 缓冲区,这样避免重新复制数据。...这样,Kafka提供大容量的磁盘存储也变成了一种优点。由于本人才粗学浅,表述有误的地方欢迎指教。 更多实时计算相关技术博文,欢迎关注实时流式计算
实际上不管是内存还是磁盘,快或慢关键在于寻址的方式,磁盘分为顺序读写与随机读写,内存也一样分为顺序读写与随机读写。...基于磁盘的随机读写确实很慢,但磁盘的顺序读写性能却很高,一般而言要高出磁盘随机读写三个数量级,一些情况下磁盘顺序读写性能甚至要高于内存随机读写,这里给出著名学术期刊 ACM Queue 上的一张性能对比图...: image.png 磁盘的顺序读写是磁盘使用模式中最有规律的,并且操作系统也对这种模式做了大量优化,Kafka就是使用了磁盘顺序读写来提升的性能。...零拷贝 这里主要讲的是Kafka利用linux操作系统的 "零拷贝(zero-copy)" 机制在消费端做的优化。...linux操作系统 "零拷贝" 机制使用了sendfile方法,允许操作系统将数据从Page Cache 直接发送到网络,只需要最后一步的copy操作将数据复制到 NIC 缓冲区,这样避免重新复制数据。
磁盘的 UUID 是唯一且不随主机重启改变,因此绑定磁盘时需要用到 UUID,那么如何获取 UUID呢? 本文假设需要获取 /dev/sda 磁盘的 UUID!...Linux 6: scsi_id -g -u /dev/sda Linux 7/8: /usr/lib/udev/scsi_id -g -u /dev/sda ---- 本次分享到此结束啦~ 如果觉得文章对你有帮助...,点赞、收藏、关注、评论,一键四连支持,你的支持就是我创作最大的动力。
软件环境:虚拟机VM12,Linux版本 CentOS 7.3 命令 df (disk filesystem) 用于查看已挂载磁盘的总容量、使用容量、剩余容量等,可以不加任何参数,默认以KB为单位显示。...在上例的结果中: / 、/boot是我们在安装系统时划分出来的。...(具体可参照 Linux操作系统的安装) /dev、/dev/shm 为内存分区,默认大小为内存大小的1/2,将文件存在这个分区下相当于存在了内存中,优点是读写速度非常快,缺点是系统重启时文件就会丢失。...df命令的常用选项有 -i、-h、-k、-m,以下就开始逐一讲解: 1,df -i:查看inodes的使用状况,如果已使用100%,即使磁盘空间有富余,也会提示磁盘空间已满。 ?...如果后面不加任何选项和参数,则只会列出目录(包含子目录)的大小。如果du命令不指定单位的话,默认显示单位为“KB”。 ? ? 2,du -[bkmh] du -b:表示列出的值以B为单位输出。
大家好,又见面了,我是你们的朋友全栈君。 磁盘经过分区和格式化后,如果想要使用这些磁盘,那么还需要挂载。...第3列是分区的格式。 第4列是挂载的一些挂载参数,一般情况下,直接写defaults。 常用选项: async/sync:async表示与磁盘和内存不同步。...usrquota:启动用户的磁盘配额模式,即对用户限定使用的磁盘额度。 grquota:启动群组的磁盘配额模式。 第5列表示是否被dump备份。0表示不备份,1表示备份。...第6列表示开机时是否自检磁盘。0表示不检测,1和2表示检测,1的优先级高,所以先检测1再检测2,如果有多个分区需要开机检测,就都设置为2。.../newdir下了,mount -a命令,会把/etc/fstab中出现的所有磁盘分区挂载上。
如何将一个盘的空间转移到另一个盘中,因为会经常遇到这种情况,在/home目录下磁盘很大,但/root少得可怜,如何把/home的空间转移到/root中呢?下文教你实战。...fedora24下实战 使用如下命令查看磁盘使用情况 df -lh 文件系统 容量 已用 可用 已用% 挂载点 devtmpfs 3.9G 0 3.9G 0% /dev...取消/home目录的挂载 umount -v /home 检查要转移的磁盘 e2fsck -ff /dev/mapper/fedora-home #此命令操作结果的5个步骤必需全部通过 显示结果如下...fedora-home: 130190/10838016 files (0.1% non-contiguous), 8077341/43338752 blocks 改变/dev/mapper/fedora-home的磁盘大小...,希望对大家的学习有所帮助。
|--分区基础知识 说明: |--1.linux无论有几个分区,分给那一目录使用, 只有一个根目录,一个独立且唯一的文件结构 linux中每个分区都是用来组成整个文件系统的一部分... |--2.linux采用一种叫"载入"的处理方式,它的整个文件系统 中包含一个整套的文件和目录,且将一个分区和一个目录 联系起来,这时要载入的一个分区将使它的存储空间...位不重复的字符串 挂载点 mount 挂载 umount 卸载 |--挂载案例 需求给linux系统增加新硬盘,挂载到/home/newdisk 如何增加一块硬盘... 基本语法 df -h eg: 查询系统整体磁盘使用情况 df -lh |--查询指定目录的磁盘占用情况 ...-h 计量单位 -a 含文件 -max-depth=1 子目录深度 -c 列出明细的同时,增加汇总值 eg: 查询/opt目录的磁盘占用情况
在我之前的文章:《探讨 Linux 的磁盘 I/O》中,我谈到了 Linux 磁盘 I/O 的工作原理,我们了解到 Linux 存储系统 I/O 栈由文件系统层(file system layer)、通用块层...其中,通用块层是 Linux 磁盘 I/O 的核心。向上,它为访问文件系统和应用程序的块设备提供了标准接口;向下,它将各种异构磁盘设备抽象为一个统一的块设备,并响应文件系统和应用程序发送的 I/O。...在本文中,我们来看看磁盘的性能指标以及如何查看这些指标。 Linux 磁盘性能指标 在衡量磁盘性能时,我们经常提到五个常见指标:利用率、饱和度、IOPS、吞吐量和响应时间。...饱和度(Saturation):指磁盘处理 I/O 的繁忙程度。过度饱和意味着磁盘存在严重的性能瓶颈。当饱和度为 100% 时,磁盘无法接受新的 I/O 请求。...结论 在本文中,我介绍了 Linux 磁盘 I/O 的性能指标和查看性能工具。我们通常使用 IOPS、吞吐量、利用率、饱和度和响应时间等几个指标来评估磁盘的 I/O 性能。
在服务器运维过程中,我们时常会遇到这样的情况,收到服务器磁盘空间告警 登录服务器,通过df -Hl查看 和告警信息一致,接着我们就是要找到导致磁盘空间满的目录或文件 如何找到占用空间大的目录或文件...|sort -nr 通过这样的方式,可以搜出以G或者T为单位的占用磁盘空间的大目录,并排序 或者可以通过find来查询 find / -type f -size +1G -exec du -h {}...很多时候,你会发现,通过find或du查半天,发现所有加起来的占用空间,和df看到的磁盘空间占用,相差很大,就比如我上面的两张图 通过df查看,磁盘使用37G,但是在根目录下通过du -hs 查看,总共加起来差不多...但是空间没释放,这是很常见的一种情况 对应的解决方法就是,重启tomcat应用,释放空间 磁盘空间莫名被吃?...还有一种经常有人问的问题,就是,通过df查看到的磁盘 会发现,Used和Avail加起来不够Size,莫名被吃掉一部分 其实这是Linux文件系统的一种安全策略,它默认会为root用户保留5%的磁盘空间
Linux 统一密钥设置Linux Unified Key Setup(LUKS)是一个很好的工具,也是 Linux 磁盘加密的通用标准。...客户端安装 在本例中,假设你已经添加了一个名为 /dev/vdc 的新的 1GB 磁盘到你的系统中。...cryptsetup luksFormat 命令对磁盘进行加密。...当提示时,你需要输入大写的 YES,并输入密码来加密磁盘: sudo cryptsetup luksFormat /dev/vdc1WARNING!...现在,每当你重启服务器时,加密后的磁盘应该会自动解密,并通过 Tang 服务器取回密钥进行挂载。 如果 Tang 服务器因为任何原因不可用,你需要手动提供密码,才能解密和挂载分区。
当我们想在系统里增加一块硬盘的时候,要做以下这四步工作: 对磁盘进行分区 对新建的分区进行格式化,目的是为了创建系统可用的文件系统 对新建的文件系统进行检验 将新建的文件系统挂载到系统的目录树上 磁盘分区...例子:给咱电脑的磁盘进行一下分区 //1。...1KB 注意:fdisk -l可以列出整个系统中所有磁盘的所有分区,如果有多个磁盘(比如插入了一块U盘),那么执行这个命令后,再选择p,结果是这样的: PS:也就是会显示两块这样的信息,分别代表两块磁盘中的分区情况.../dev/hda5 * 1 2000 20963801 83 Linux 删除磁盘分区 fdisk /dev/hda //进入fdisk界面 Command...PS:通过mkfs tab tab就可以查看本系统支持的所有文件系统了。 磁盘的检验:fsck 当系统运行出现问题导致文件系统发生错乱,此时就需要磁盘的检验。
硬件设备在Linux中的命名 Linux中每一个设备都被当成文件,所有的设备文件都在/dev这个目录下。...磁盘的接口有两种,分别是IDE接口、SATA接口。...记录整块硬盘的分区状况 磁盘分区表 对磁盘进行分区时,采用柱面作为基本单位。...PS:Linux中,IDE硬盘最多有59个逻辑分区,5号-63号;SATA硬盘最多有11个逻辑分区,5号-15号。...挂载 目录树 在Linux中,整个文件系统呈一棵以/为根目录的树。 挂载 把一个目录当作磁盘中某一个分区的进入点,也就是说,进入了这个目录,就进入了这个磁盘的这个分区。
一、LVM介绍 在我们管理Linux磁盘的时候,通常会遇到这么一种情况。...在最初规划Linux的磁盘的时候,我们给某个分区划分了一定量的磁盘空间,使用一段时间后,发现我们规划的磁盘空间不足了,这个时候怎么办?...我们肯定要想办法给扩容呀,找一块磁盘分区,格式化,然后挂载,然后把数据拷贝到新加的磁盘上,然后把原有的磁盘卸载掉,通常我们是这样做的。...LVM就是将一些零碎的磁盘分区(PV)合并成一个较大的磁盘(VG),然后在根据需要对这个较大的磁盘(VG)进行划分成不同的大小分区(LV),这些小的分区(LV)是可以动态的扩展和缩小的,这就是LVM的逻辑卷管理过程...所谓LVM的大磁盘就是将许多PV整合成的VG,那么这个大磁盘最大可达到多少容量呢?
概述本系列博客一共4篇,是对Linux系统知识的查漏补缺,Linux文件、目录、磁盘模式的一次扫盲知识点,下一篇学习shell的知识点。...w: 可以编辑、新增、或是修改该文件的内容x: 该文件具有可以被系统执行的权限特别注意的有两点:~文件如果在它的家目录,它在此目录下具有rwx的完整权限,因此对于文件来说是有执行权限。...一个Linux文件能不能被执行,与它的第一栏的十个属性有关,与文件名一点关系也没有。...df: 列出文件系统的整体磁盘使用量-h 以人们交易阅读的格式自行显示-i 不用磁盘容量,而是以inode的数量来显示。...du: 查看文件系统磁盘的使用量,显示server目录的大小,忽略/usr目录,命令 du -sh ~/server,~/server是项目目录。
,格式化需要选择一个文件系统来进行格式化,使用cat /etc/filesystems 命令可以查看Linux里支持的文件系统: ? ...2.mke2fs -b 此选项可以指定块的大小,这个块就是格式化磁盘时分隔的一个一个的小块,例如我用ls -lh查看某个文件的大小显示的结果是1.3kb,但是用du -sh查看却是4kb,这就说明这个磁盘的块大小是...4.6 磁盘格式化(下) 3.mke2fs -m此选项可以指定某个磁盘分区的预留容量的大小。...blkid可以看到磁盘的UUID,可以直接使用UUID挂载磁盘: ? 4.9 手动增加swap空间 想要手动增加swap空间的话,需要先添加一个小的虚拟磁盘: ?...dd命令是用来操作磁盘的 if是指定从哪里去读取 /dev/zero是Linux内核的造0器,可以产生源源不断的0 of是指定将0写入到哪个文件里 bs是指定每个块的大小 count是指定newdisk
大家好,又见面了,我是你们的朋友全栈君。 目录 一、磁盘分区 1. 磁盘分区概述 2. 磁盘分区实例 3. 查询磁盘情况 4. 磁盘情况其他指令 二、网络配置 1. 网络概述 2....配置 Linux 网络环境 3. 设置主机名和 host 映射 4. 补充 主机名解析过程 一、磁盘分区 1....磁盘分区概述 Linux 操作系统只有一个根目录,根目录下又分几个区分别分给某一子目录使用,Linux 操作系统中的每个分区都是整个文件系统的一部分,硬盘中的每个分区都会挂载到文件系统的某一目录中...磁盘分区实例 创建一个新的磁盘并分区、挂载再到删除需要有以下几步: (1)添加硬盘 我们先在 Linux 系统中添加一块硬盘,进入“菜单”,选择“设置”,在设备列表中添加硬盘,随后点击“...查询磁盘情况 在目录下创建文件时,文件会保存到与该目录具有挂载关系的磁盘分区中,磁盘存储空间则会越来越小,为了保证磁盘的正常使用,我们必须时刻知道系统磁盘的使用情况。
在Linux系统中,nmap是一个非常流行的网络扫描工具。它可以用于探测主机和网络上的开放端口、操作系统类型、服务和应用程序等信息。nmap还可以与Ping命令结合使用,以便快速识别网络上的活动主机。...本文将介绍如何在Linux上使用nmap和Ping命令进行扫描。 安装nmap和Ping命令 在开始使用nmap和Ping命令之前,需要先安装它们。...例如,要扫描本地网络上的所有主机,可以使用以下命令: sudo nmap -sn 192.168.0.0/24 执行该命令后,nmap会使用Ping命令扫描192.168.0.0/24网段中的所有主机。...grep和cut命令来提取扫描结果中的IP地址信息。...这些技术可以帮助您更全面地了解目标主机或网络的安全状况。如果您想深入了解nmap的扫描技术,可以参考nmap官方文档。 总结 在Linux系统中,nmap和Ping命令是两个非常有用的网络扫描工具。
原文地址:linux下测试磁盘的读写IO速度 作者:zongg 有时候我们在做维护的时候,总会遇到类似于IO特别高,但不能判定是IO瓶颈还是软件参数设置不当导致热盘的问题.这时候通常希望能知道磁盘的读写速度...下面是两种测试方法: (1)使用hdparm命令 这是一个是用来获取ATA/IDE硬盘的参数的命令,是由早期Linux IDE驱动的开发和维护人员 Mark Lord开发编写的( hdparm has...suggestions from many netfolk).该命令应该也是仅用于Linux系统,对于UNIX系统,ATA/IDE硬盘用的可能比较少,一般大型的系统都是使用磁盘阵列的....,平时可以使用来对磁盘的读写速度作一个简单的评估....相比两种方法: 前者是linux上专业的测试IDE/ATA磁盘的工具,但是使用范围有局限性;(此试验仅仅使用了测试磁盘IO的参数,对于其他参数及解释参考man手册) 后者可以通用,但不够专业,也没有考虑到缓存和物理读的区分
领取专属 10元无门槛券
手把手带您无忧上云