首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

Rdfind - Linux查找重复文件

背景 前段时间遇到一个问题,服务器下面一个文件夹下面的图片越来越多,由原来的5G,达到了现在的94G,其中这个文件夹下面有好多重复的图片,文件多了之后造成图片备份困难,图片迁移困难,浪费了大量的空间和IO...本文中将介绍rdfind命令工具linux查找和删除重复的文件,使用之前请先在测试环境跑通并对测试环境进行严格的测试,测试通过之后再在生产环境进行操作,以免造成重要文件的丢失,数据是无价的。...Rdfind来自冗余数据查找,用于多个目录或者多个文件查找重复的文件,它使用校对和并根据文件查找重复项不仅包含名称。 Rdfind使用算法对文件进行分类,并检测那些是重复文件,那些是文件副本。...root@ds Image]# drfind /Image/ [root@ds Image]# Rdfind 命令将扫描 /Image 目录,并将结果存储到当前工作目录下一个名为 results.txt 的文件...你可以 results.txt 文件中看到可能是重复文件的名字。 通过检查 results.txt 文件,你可以很容易的找到那些重复文件。如果愿意你可以手动的删除它们。

5.2K60
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    linux查找文件

    随着时间的推移,您的磁盘驱动器可能会被大文件占用大量磁盘空间,不必要文件弄得乱七八糟。通常是因为大型日志文件或备份文件,导致Linux系统的磁盘空间不足。...本教程介绍如何使用find和du命令Linux系统查找最大的文件和目录。 使用find命令查找文件 find命令是Linux系统管理员工具库中最强大的工具之一。...它允许您根据不同的标准(包括文件大小)搜索文件和目录。 例如,如果在当前工作目录要搜索大小超过100MB的文件,请使用以下命令: sudo find ....-xdev -type f -size +100M -print 仅搜索当前工作目录(.)文件(-type f),大于100MB(-size +100M),不要查找其他文件系统上的目录(-xdev...例如,您可以搜索超过多少天的大文件,具有特定扩展名的大文件或属于特定用户的大文件。 使用du命令查找文件和目录 du命令用于估计文件空间使用情况,对于查找占用大量磁盘空间的目录和文件特别有用。

    8.7K10

    Linux文件查找技巧

    前言 Linux常用命令,有些命令可以帮助我们查找二进制文件,帮助手册或源文件的位置,也有的命令可以帮助我们查找磁盘上的任意文件,今天我们就来看看这些命令如何使用。...which which命令会在PATH变量指定的路径,搜索某个系统命令的位置。...终端敲入一个命令,但是PATH包含的路径下没有时并且也不是内置命令时,就会提示:command not found。...i locate.zip /home/hyb/workspaces/shell/locate/LOCATE.zip 使用正则表达式 普通的查找是模糊匹配的,因此只要目标名称包含要搜索的名称,都会被搜索出来...find find命令是linux下一个强大的查找命令。与locate命令相比,它需要遍历磁盘文件,因此查找速度较慢,但正因如此,它的实时性比locate好得多。

    5.6K10

    如何在 Linux 查找文件

    Linux 系统,有时候我们需要查找并识别占用大量磁盘空间的文件。这些大文件可能导致磁盘空间不足或性能下降。本文将详细介绍 Linux 中使用不同的命令和工具来查找文件的方法。图片1....使用 find 命令find 命令是一个功能强大的工具,可以用于文件系统搜索和查找文件。结合 -size 选项,我们可以使用 find 命令来查找指定大小的文件。...目录查找大于 100 MB 的文件。...然后,根据文件大小进行降序排序,并显示最大的 10 个文件。6. 使用图形化工具除了命令行工具,Linux 还提供了一些图形化工具来帮助您查找文件。...结论 Linux ,有多种方法可以查找文件。您可以使用 find 命令、du 命令、ncdu 命令或 ls 命令来查找和显示文件的大小。

    17.3K41

    Linux查找文件方法

    Linux的四种查找文件方法 ? 一、which which命令的作用是,PATH变量指定的路径,搜索某个系统命令的位置,并且返回第一个搜索结果。 也就是说它返回的是你该命令所处的位置。...上面说了locate是一个库里查找文件,因此对于一些有新变动的文件,而你的库还没更新时,这些文件你是用locate找不到的,这时find就派上用场了,它可是从硬盘里一个一个进行查找的,正因为这样它的速度也会相当慢...,-n指n天以内,+n指n天以前 -nogroup #查无有效属组的文件,即文件的属组/etc/groups不存在 -nouser...#查无有效属主的文件,即文件的属主/etc/passwd不存在 -ctime -n +n #按文件创建时间来查找文件,-n指n天以内,+n指n天以前 -nogroup...#查无有效属组的文件,即文件的属组/etc/groups不存在 -nouser #查无有效属主的文件,即文件的属主

    6.6K10

    Linux如何查找最大的10个文件方法汇总

    本教程,我们将教您如何使用以下四种方法 Linux 系统查找最大的前 10 个文件。 方法 1 Linux 没有特定的命令可以直接执行此操作,因此我们需要将多个命令结合使用。.../:整个系统(从根目录开始)查找 -type:指定文件类型 f:普通文件 -print0:标准输出显示完整的文件名,其后跟一个空字符(null) |:控制操作符,将一条命令的输出传递给下一个命令以供进一步处理...:输出文件开头部分的命令 n -10:打印前 10 个文件 方法 3 这里介绍另一种 Linux 系统搜索最大的前 10 个文件的方法。...:仅显示每个参数的总和 -h:用可读格式打印输出 {}:递归地查找目录,统计每个文件占用的磁盘空间 方法 4 还有一种 Linux 系统查找最大的前 10 个文件的方法。.../:整个系统(从根目录开始)查找 -type:指定文件类型 f:普通文件 -ls:标准输出以 ls -dils 的格式列出当前文件 |:控制操作符,将一条命令的输出传递给下一个命令以供进一步处理

    9K31

    linux(八)linux系统查找文件

    一、grep命令   1.1、作用   Linux系统grep命令是一种强大的文本搜索工具,它能使用正则表达式搜索文本,并把匹 配的行打印出来。     ...1   1.4、实例     1)显示所有以d开头的文件包含test的行 ?...2)显示aa,bb,cc文件匹配test的行     $ grep ‘test’ aa bb cc     3)显示所有包含每个字符串至少有5个连续小写字符的字符串的行        $ grep...‘[a-z]\{5\}’ aa     4)查找pass和passwd.txt文件包含root的行         cat passwd passwd.txt |grep -i root      ...5)查找pass和passwd.txt文件包含root的行      grep -i root passwd passwd.txt  二、wc命令   2.1、作用 统计文件里面有多少单词,多少行

    4.4K70

    linux(七)之linux系统查找文件

    -nogroup 查找无有效所属组的文件,即该文件所属的组/etc/groups不存在。     -nouser 查找无有效属主的文件,即该文件的属主/etc/passwd不存在。     ...-depth:查找文件时,首先查找当前目录文件,然后再在其子目录查找。     ...-fstype:查找位于某一类型文件系统文件,这些文件系统类型通常可以配置文件/etc/fstab中找到,该配置文件包含了本系统中有关文件系统的信息。     ...4.2)/logs目录查找更改时间5日以前的文件并删除它们         记住:shell中用任何方式删除文件之前,应当先查看相应的文件,一定要小心!...4.3)在下面的例子, find命令在当前目录查找所有文件名以.LOG结尾、更改时间5日以上的文件,并删除它们,只不过删除之前先给出提示。

    5.6K100

    使用 Ruby 或 Python 文件查找

    对于经常使用爬虫的我来说,大多数文本编辑器都会有“文件查找”功能,主要是方便快捷的查找自己说需要的内容,那我有咩有可能用Ruby 或 Python实现类似的查找功能?这些功能又能怎么实现?...问题背景许多流行的文本编辑器都具有“文件查找”功能,该功能可以一个对话框打开,其中包含以下选项:查找: 指定要查找的文本。文件筛选器: 指定要搜索的文件类型。开始位置: 指定要开始搜索的目录。...解决方案Python以下代码提供了指定目录搜索特定文本的 Python 脚本示例:import osimport re​def find_in_files(search_text, file_filter...file_filter, start_dir, report_filenames, regex_search)​for result in results: print(result)Ruby以下代码提供了指定目录搜索特定文本的...上面就是两种语实现在文件查找的具体代码,其实看着也不算太复杂,只要好好的去琢磨,遇到的问题也都轻而易举的解决,如果在使用中有任何问题,可以留言讨论。

    9210

    如何使用find和locate 命令Linux 查找文件和目录?

    我们使用Linux的时候,难免要在系统查找某个文件,比如查找xxx配置文件在哪个路径下、查找xxx格式的文件有哪些等等。...使用 find 命令 Linux 查找文件和目录 按名称查找文件 按部分名称查找文件 按大小查找文件 使用时间戳查找文件 按所有者查找文件 按权限查找文件 按名称查找目录 使用 locate 命令...Linux 查找文件和目录 按名称查找文件 按部分名称查找文件 限制搜索结果 显示匹配条目的数量 总结 find命令是 Linux 中最重要和最常用的命令之一。...1使用 find 命令 Linux 查找文件和目录 Linux find 命令是一个强大的工具,它使系统管理员能够根据模糊的搜索条件定位和管理文件和目录,它支持按文件文件夹、名称、创建日期、修改日期...查找/opt目录下名字为app的文件夹: find /opt -type d -name app 3使用 locate 命令 Linux 查找文件和目录 虽然 find 是Linux 中最流行和最强大的用于文件搜索的命令行实用程序之一

    5.8K10

    Linux入门】文件查找

    常用命令 which:命令查找 whereis:系统特定目录下查找文件 locate:利用数据库查找文件 find:文件查找 命令查找 which which 命令用于查找指定命令(脚本文件)的可执行文件路径...,系统的【PATH】变量指定的路径搜索某个系统命令的位置,并返回搜索结果(默认只返回第1个匹配结果)。...】环境变量所规范的路径,去查找执行文件文件名,有些命令不在环境变量所指定的路径,则无法查找系统特定目录下查找文件 whereis whereis 命令只是特定目录下查找文件并返回路径,并没有查找硬盘上的所有文件...命令格式: whereis [参数] 文件名或目录名 # 参数 -l:列出 whereis 会查找的几个主要目录 -b:只查找 binary 二进制格式的文件 -m:只查找说明文件 manual 路径下的文件...-7 # 查找指定目录下大于1MB的文件并删除(谨慎操作) find /home/test/ -size +1M -exec rm {} ; # 查找指定目录下名称包含 test 的文件 find

    28531

    如何使用find和locate 命令Linux 查找文件和目录?

    我们使用Linux的时候,难免要在系统查找某个文件,比如查找xxx配置文件在哪个路径下、查找xxx格式的文件有哪些等等。...使用 find 命令 Linux 查找文件和目录 Linux find 命令是一个强大的工具,它使系统管理员能够根据模糊的搜索条件定位和管理文件和目录,它支持按文件文件夹、名称、创建日期、修改日期...例如,要搜索wljslmz.ppt /home 目录命名 的 文件,您可以使用以下命令: find /home -type f -name wljslmz.ppt Linux文件名区分大小写,因此如果您要查找名为...按部分名称查找文件 您可以使用文件名元字符,例如星号 *,但您应该在每个字符前放置一个转义字符\ 或将它们括引号。...查找/opt目录下名字为app的文件夹: find /opt -type d -name app 使用 locate 命令 Linux 查找文件和目录 虽然 find 是Linux 中最流行和最强大的用于文件搜索的命令行实用程序之一

    6.9K00
    领券