测试人员最常见和繁琐的任务之一就是清理环境，比如防止磁盘空间出现不足。下面是我收集的一些常用的 Linux 文件系统相关命令。
[root@redhatAS6 home]# mount -o loop rhel-server-6.3-x86_64-dvd.iso /mnt/cdrom
chattr命令的作用很大，其中一些功能是由Linux内核版本来支持的，如果Linux内核版本低于2.2，那么许多功能不能实现。同样－D检查压缩文件中的错误的功能，需要2.5.19以上内核才能支持。另外，通过chattr命令修改属性能够提高系统的安全 性，但是它并不适合所有的目录。chattr命令不能保护/、/dev、/tmp、/var目录。lsattr比较简单，只是显示文件的属性。
在 Linux 操作系统中，chattr 命令用于更改文件或目录的扩展属性，包括可写性、可执行性和删除性等。本文将介绍 chattr 命令的使用方法以及常见的参数。
在ext4这样的文件系统中，如果想阻止某个目录被不小心删除，可以"chattr +i "该目录，譬如：
Linux和类Unix操作系统默认都有root账号，默认情况下root可以修改系统上所有目录和文件的帐户或用户名。在本文将展示如何使Linux中的root用户也无法删除目录或文件。 要使文件不可被任何系统用户(包括 root 用户)删除，需要使用chattr命令使其不可修改。此命令更改Linux文件系统上的文件属性。 如何在Linux中使文件不可删除 下面的命令使/rumenz/passwd文件不可变（或不可删除）。这意味着不能以任何方式修改文件:不能删除或重命名。你甚至无法创建指向它的链接，也无法将数据写
因为硬盘每次读写都会寻址和写入，其中寻址是一个耗时的操作。所以为了提高读写硬盘的速度，Kafka使用顺序I/O，来减少了寻址时间：收到消息后Kafka会把数据插入到文件末尾，每个消费者（Consumer）对每个Topic都有一个offset用来表示读取的进度。
众所周知，大数据应用工具（如Hadoop、Storm、Hive、Spark等）都是运行于Linux系统中。所以，第一步要做的就是认识并操作Linux系统（正如你对Windows系统中的了解），而这一步又显得尤为基础和重要。对于Linux系统的操作，与图形化的Windows系统完全不同，它都是基于命令完成的。故从本期开始，将陆续介绍Linux的常用命令，包括文件处理命令、权限命令、搜索命令以及压缩解压命令等。灵活掌握和使用这些常用命令，都可以为后期大数据工具的学习打下基础。
想必大家都听说过一个笑话：一个程序员去公司面试，面试官让他随便写个shell脚本看看 结果程序员在公司机器上写了个简单的 rm -rf /*
Linux：存在几十个文件系统类型：ext2，ext3，ext4，xfs，brtfs，zfs（man 5 fs可以取得全部文件系统的介绍）
在Linux下有些时候你会发现有的文件既然连root用户都没法删除，会报rm: 无法删除"/var/log/messages": 不允许的操作,这大部分原因是因为利用了chattr命令锁定改文件了。
#1 - 错误: 设备上无剩余空间 当你的类UNIX系统磁盘写满了时你会在屏幕上看到这样的信息。本例中，我运行fallocate命令然后我的系统就会提示磁盘空间已经耗尽： $ fallocate -l 1G test4.imgfallocate: test4.img: fallocate failed: No space left on device 第一步是运行df命令来查看一个有分区的文件系统的总磁盘空间和可用空间的信息： $ df 或者试试可读性比较强的输出格式： $ df -h 部分输出内容： Fi
这个项目是我2011年在杭州某家互联网公司实习时写的项目，当时坐下来感觉还不错，能够支持上百台服务器的集群需求，并且也支持简单的负载均衡策略，接下来，我来简单地介绍下JDistFS的实现目标，架构以及提供给上层用户使用的接口说明
在Linux中，文件属性是描述文件行为的元数据属性。 例如，属性可以指示是否压缩文件或指定是否可以删除文件。
文件系统是操作系统中负责管理持久数据的子系统，说简单点，就是负责把用户的文件存到磁盘硬件中，因为即使计算机断电了，磁盘里的数据并不会丢失，所以可以持久化的保存文件。
今天讲一下文件系统，遇见过单个最大文件的问题，所以将此问题记录下来，希望对大家有用。
版权声明：本文为耕耘实录原创文章，各大自媒体平台同步更新。欢迎转载，转载请注明出处，谢谢。
除了文件的读写,执行权限外,linux还有一种隐藏权限,设置隐藏权限可以防止一些其他用户的误操作或者恶意操作,当我们配置了nginx的放跨站攻击或其他安全措施后,相应的会在项目的根目录下生成一个隐藏文件.user.ini,当删除整个项目时会阻止操作完成.我们使用ls命令并使用chmod chown等命令设置了文件权限后会发现还是无法删除.这就是因为这个文件有隐藏的权限
在Linux中rm -rf的威力是十分巨大的，特别是附带了 -f 参数，不少新手都干过用root用户执行 rm -rf /命令这种傻事，如果云服务器没有快照，简直就是灾难，从根目录开始所有文件被递归删除，连系统都被损坏。
操作系统：CentOS 6.8 x64 使用 df -h 命令，看见 / 根目录下磁盘空间已满（100%），于是手动清理大日志文件。
在Linux下查看磁盘空间使用情况，最常使用的就是du和df了。然而两者还是有很大区别的，有时候其输出结果甚至非常悬殊。 1. 如何记忆这两个命令 du-Disk Usage df-Disk Free 2. df 和du 的工作原理 2.1 du的工作原理 du命令会对待统计文件逐个调用fstat这个系统调用，获取文件大小。它的数据是基于文件获取的，所以有很大的灵活性，不一定非要针对一个分区，可以跨越多个分区操作。如果针对的目录中文件很多，du速度就会很慢了。 2.2 df的工作原理 df命令使用的事s
如果 root 密码忘记了，grub 的密码也忘记了，可以进救援模式将 /mnt/sysimage/boot/grub/grub.conf 文件里密码那行删了即可，或者直接修改 shadow 文件，直接把 root 密码删了，即可以使用 root 进行空口令登录了。
备忘 EXT3 http://zh.wikipedia.org/zh-cn/Ext3 ext3，第三扩展文件系统，是一个日志文件系统，常用于Linux操作系统。它是很多Linux发行版的默认文件系统。Stephen Tweedie在1999年2月的内核邮件列表[2]中，最早显示了他使用扩展的ext2，该文件系统从2.4.15版本的内核开始，合并到内核主线中[3]。 大小限制 ext3有一个相对较小的对于单个文件和整个文件系统的最大尺寸。这些限制依赖于文件系统的块大小；下面的表格总结了这些限制。 块尺寸 最大文件尺寸 最大文件系统尺寸
在上一篇云硬盘性能分析的教程中，为大家介绍了如何评测云硬盘的读写性能。但是，我们使用硬盘，从来不是直接读写裸设备，而是通过文件系统来管理和访问硬盘上地文件。不少朋友询问，文件系统该如何对比，又该如何选择呢？
基本文件系统。 1.0 ext4文件系统 windows一般是NTFS,早期的FAT32，DOS是FAT文件系统，linux大多数发行版采用ext4文件系统。linux还支持上面提到的文件系统。
理解inode，要从文件储存说起。文件储存在硬盘上，硬盘的最小存储单位叫做”扇区”（Sector）。每个扇区储存512字节（相当于0.5KB）。操作系统读取硬盘的时候，不会一个个扇区地读取，这样效率太低，而是一次性连续读取多个扇区，即一次性读取一个”块”（block）。这种由多个扇区组成的”块”，是文件存取的最小单位。”块”的大小，最常见的是4KB，即连续八个 sector组成一个 block。文件数据都储存在”块”中，那么很显然，我们还必须找到一个地方储存文件的元信息，比如文件的创建者、文件的创建日期、文件的大小等等。这种储存文件元信息的区域就叫做inode，中文译名为”索引节点” 。
1. 概述 ---- 当我们执行rm命令删除一个文件的时候，在操作系统底层究竟会发生些什么事情呢，带着这个疑问，我们在Linux-3.10.104内核下对ext4文件系统下的rm操作进行分析。rm命令本身比较简单，但其在内核底层涉及到VFS操作、ext4块管理以及日志管理等诸多细节。 2. 源码分析 ---- rm命令是GNU coreutils里的一个命令，在对一个文件进行删除时，它实际上调用了Linux的unlink系统调用，unlink系统调用在内核中的定义如下： SYSCALL_DEFINE1
发现一台服务器的磁盘空间不足，需要进行处理，登录后发现磁盘使用率已经100%，操作删除了一些文件和日志信息后，查看空间仍然没有变化。
这一期我们来看一下有哪些办法可以减少linux下的文件碎片。主要是针对磁盘长期满负荷运转的使用场景（例如http代理服务器）；另外有一个小技巧，针对互联网图片服务器，可以将io性能提升数倍。如果为服务器订制一个专用文件系统，可以完全解决文件碎片的问题，将磁盘io的性能发挥至极限。对于我们的代理服务器，相当于把io性能提升到3-5倍。 在现有文件系统下进行优化linux内核和各个文件系统采用了几个优化方案来提升磁盘访问速度。但这些优化方案需要在我们的服务器设计中进行配合才能得到充分发挥。 文件系统缓存lin
背景 计算机硬件性能在过去十年间的发展普遍遵循摩尔定律，通用计算机的CPU主频早已超过3GHz，内存也进入了普及DDR4的时代。然而传统硬盘虽然在存储容量上增长迅速，但是在读写性能上并无明显提升，同时SSD硬盘价格高昂，不能在短时间内完全替代传统硬盘。传统磁盘的I/O读写速度成为了计算机系统性能提高的瓶颈，制约了计算机整体性能的发展。 硬盘性能的制约因素是什么？如何根据磁盘I/O特性来进行系统设计？针对这些问题，本文将介绍硬盘的物理结构和性能指标，以及操作系统针对磁盘性能所做的优化，最后讨论下基于磁盘I/O
Docker虚拟化技术是基于容器化，容器化技术的本质其实是基于内核资源调度的再分配！ 并不是什么新技术，只是近年Linux内核更加成熟，在资源调度隔离更成熟，所以容器化技术再被提上议程。
运维经常用rm -rf / 来调侃自己，但事实上现在的安全机制下，rm -rf / 并不起作用，你看：
本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！
windows下全然限定文件名称必须少于260个字符，文件夹名必须小于248个字符。
一、分布式文件系统简介： 什么是分布式存储： 分布式存储系统，是将数据分散存储在多台独立的设备上。传统的网络存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要。分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。 分布式文件系统设计目标 ： 访问透明 位置透明 并发透明 失效透明 硬件透明 可扩展性 复制透明 迁移透明 CAP理论
在 Linux 中，最直观、最可见的部分就是 文件系统(file system)。下面我们就来一起探讨一下关于 Linux 中国的文件系统，系统调用以及文件系统实现背后的原理和思想。这些思想中有一些来源于 MULTICS，现在已经被 Windows 等其他操作系统使用。Linux 的设计理念就是 小的就是好的(Small is Beautiful) 。虽然 Linux 只是使用了最简单的机制和少量的系统调用，但是 Linux 却提供了强大而优雅的文件系统。
XfS文件系统是SGI开发的高级日志文件系统，XFS极具伸缩性，非常健壮。所幸的是SGI将其移植到了Linux系统中。在linux环境下。目前版本可用的最新XFS文件系统的为1.2版本，可以很好地工作在2.4核心下。
HDFS是一个面向多用户的分布式文件系统。既然是多用户，那么不同用户存储的文件通常需要进行权限隔离，防止被其他用户修改或误删。本文就来聊聊HDFS中的权限管理。
2020年的春节，想必大家都印象深刻，除了新冠肺炎疫情，就是春晚各大APP的红包大战，让不少用户“薅”到了羊毛。
以下测试都是在没有优化或修改内核的前提下测试的结果 1. 测试目的：ext3文件系统下filename最大字符长度 测试平台：RHEL5U3_x64 测试过程： LENTH=`for i in {1..255};do for x in a;do echo -n $x;done;done` touch $LENTH 当增加到256时，touch报错，File name too long linux系统下ext3文件系统内给文件/目录命名，最长只能支持127个中文字符，英文则可以支持255个字符 2. 测试目的：ext3文件系统下一级子目录的个数限制 测试平台：RHEL5U3_x64 测试过程： [root@fileserver maxdir]# for i in {1..32000};do mkdir $i;done mkdir: cannot create directory `31999': Too many links mkdir: cannot create directory `32000': Too many links ext3文件系统一级子目录的个数为31998(个)。 Linux为了cpu的搜索效率而规定的,要想改变数目大概要重新编译内核. 3. 测试目的：ext3文件系统下单个目录里的最大文件数 测试平台: RHEL5U3_x64 测试过程： 单个目录下的最大文件数似乎没什么特别限制，也是受限于所在文件系统的inode数限制： df -i或者使用tune2fs -l /dev/sdaX或者dumpe2fs -h /dev/sdaX查看可用inode数，后两个命令 输出结果是一样的，但是跟df所得出的可用inode数会有些误差，至今不明白什么原因。 网上常用两种解决办法： 1） 重新mkfs，ext3默认block大小4096 Bytes，block设置小一些inode数设置大一些 2） 使用loopback文件系统临时解决： 在/usr中（也可以在别处）创建一个大文件，然后做成loopback文件系统，将原来的文件移到这个 文件系统中，并将它mount到/usr下合适的位置。这样可以大大减少你/usr中的文件数目。但是系统 性能会有点损失。 4. 测试目的： 打开文件数限制（文件句柄、文件描述符） 测试平台： RHEL5U3_x64 ulimit -n 65535设置，或者/etc/security/limit.conf里设置用户打开文件数、进程数、CPU等
在这现代的岁月，数码世界日益发展，凡是涉及计算，必然离不开那浩如烟海的数据，庞大如巨鲸的文件。若将目光转向我们的服务器，尤其是 Linux 服务器，垃圾文件的积累便如那墙角的蛛网，初时无人觉察，久之则令人难以忍受。清理这些垃圾文件，虽说并非什么艰深的技术，但若处理不当，则可能殃及系统稳定，亦或是误删了重要文件，令人扼腕叹息。今儿个，咱们就来聊聊，如何在 Linux 服务器上安全地清理垃圾文件。
Linux 系统中的文件除了具备一般权限和特殊权限之外，还有一种隐藏权限，即被隐藏起来的权限，默认情况下不能直接被用户发觉。有用户曾经在生产环境中碰到过明明权限充足但却无法删除某个文件的情况，或者仅能在日志文件中追加内容而不能修改或删除内容的情况，这在一定程度上阻止了黑客篡改系统日志的图谋，因此这种“奇怪”的文件权限也保障了 Linux 系统的安全性。既然叫隐藏权限，那么使用常规的 ls 命令肯定不能看到它的真面目。隐藏权限的专用查看命令是 lsattr，专用设置命令是 chattr。
文件如果在被某个进程打开后删除，还会存在文件系统中，只是标记为(deleted)状态。
Linux系统的设计初衷就是让许多人一起使用并执行各自的任务，从而成为多用户、多任务的操作系统。但是，硬件资源是固定且有限的，如果某些用户不断地在Linux系统上创建文件或者存放电影，硬盘空间总有一天会被占满。针对这种情况，root管理员就需要使用磁盘容量配额服务来限制某位用户或某个用户组针对特定文件夹可以使用的最大硬盘空间或最大文件个数，一旦达到这个最大值就不再允许继续使用。可以使用quota命令进行磁盘容量配额管理，从而限制用户的硬盘可用容量或所能创建的最大文件个数。quota命令还有软限制和硬限制的功能。
大多数现代Linux发行版默认为ext 4文件系统，就像以前的Linux发行版默认为ext3、ext2，以及-如果追溯到足够远的话-ext。 如果您是Linux新手或者是文件系统新手，您可能会想知道ext 4给表带来了什么，而ext3却没有。考虑到诸如btrfs、XFS和ZFS等备用文件系统的新闻报道，您可能还想知道ext4是否还在积极开发中。 我们不能在一篇文章中涵盖所有关于文件系统的内容，但是我们将尝试让您了解Linux的默认文件系统的历史、它所处的位置以及所期待的内容。 我大量地引用了各种ext文件系统文章以及我在编写本概览时的经验。
某天登陆以后发现创建文件失败，提示空间不足了。 于是我用df命令看了一下，使用率确实达到了100%。
当我们在桌面创建一个新的空文件的时候，往往都是一个0字节的空文件，那么这个空文件在不在文件系统中呢？如果在，又是否起到了占位作用呢？
在 Linux 系统中，有时候我们需要查找并识别占用大量磁盘空间的文件。这些大文件可能导致磁盘空间不足或性能下降。本文将详细介绍在 Linux 中使用不同的命令和工具来查找大文件的方法。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
