首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

Rdfind - 在Linux中查找重复文件

背景 前段时间遇到一个问题,服务器下面一个文件夹下面的图片越来越多,由原来的5G,达到了现在的94G,其中这个文件夹下面有好多重复的图片,文件多了之后造成图片备份困难,图片迁移困难,浪费了大量的空间和IO...在本文中将介绍rdfind命令工具在linux中查找和删除重复的文件,使用之前请先在测试环境跑通并对测试环境进行严格的测试,测试通过之后再在生产环境进行操作,以免造成重要文件的丢失,数据是无价的。...Rdfind来自冗余数据查找,用于在多个目录或者多个文件中查找重复的文件,它使用校对和并根据文件查找重复项不仅包含名称。 Rdfind使用算法对文件进行分类,并检测那些是重复文件,那些是文件副本。...root@ds Image]# drfind /Image/ [root@ds Image]# Rdfind 命令将扫描 /Image 目录,并将结果存储到当前工作目录下一个名为 results.txt 的文件中...你可以在 results.txt 文件中看到可能是重复文件的名字。 通过检查 results.txt 文件,你可以很容易的找到那些重复文件。如果愿意你可以手动的删除它们。

5.3K60
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    使用 Ruby 或 Python 在文件中查找

    对于经常使用爬虫的我来说,在大多数文本编辑器都会有“在文件中查找”功能,主要是方便快捷的查找自己说需要的内容,那我有咩有可能用Ruby 或 Python实现类似的查找功能?这些功能又能怎么实现?...问题背景许多流行的文本编辑器都具有“在文件中查找”功能,该功能可以在一个对话框中打开,其中包含以下选项:查找: 指定要查找的文本。文件筛选器: 指定要搜索的文件类型。开始位置: 指定要开始搜索的目录。...解决方案Python以下代码提供了在指定目录中搜索特定文本的 Python 脚本示例:import osimport re​def find_in_files(search_text, file_filter...file_filter, start_dir, report_filenames, regex_search)​for result in results: print(result)Ruby以下代码提供了在指定目录中搜索特定文本的...上面就是两种语实现在文件中查找的具体代码,其实看着也不算太复杂,只要好好的去琢磨,遇到的问题也都轻而易举的解决,如果在使用中有任何问题,可以留言讨论。

    9910

    Linux-在指定文件类型中递归查找到目标字符串

    当前目录 ---- 按文件名查找: -name: 查找时文件名大小写敏感。 -iname: 查找时文件名大小写不敏感 ---- ‘*.conf’ 文件类型。...比如这里查询的是.conf类型的文件,要查找 xml结尾的 *.xml等等….. ---- xargs命令: 该命令的主要功能是从输入中构建和执行shell命令 在使用find命令的-exec选项处理匹配到的文件时...但有些系统对能够传递给exec的命令长度有限制,这样在find命令运行几分钟之后,就会出现溢出错误。错误信息通常是“参数列太长”或“参数列溢出”。...在有些系统中,使用-exec选项会为处理每一个匹配到的文件而发起一个相应的进程,并非将匹配到的文件全部作为参数一次执行;这样在有些情况下就会出现进程过多,系统性能下降的问题,因而效率不高; 而使用xargs...另外,在使用xargs命令时,究竟是一次获取所有的参数,还是分批取得参数,以及每一次获取参数的数目都会根据该命令的选项及系统内核中相应的可调参数来确定。

    1.8K50

    如何使用`grep`命令在文本文件中查找特定的字符串?

    如何使用grep命令在文本文件中查找特定的字符串? 摘要 在这篇技术博客中,我将详细介绍如何使用grep命令在文本文件中查找特定的字符串。...引言 在日常工作中,我们经常需要在文件中查找特定的字符串,以便进行分析、调试或修改。而grep命令正是为此而生。它提供了丰富的搜索选项和灵活的使用方式,可以满足各种需求。...grep是一个强大的文本搜索工具,用于在文件中查找匹配特定模式的字符串。它的名称来源于Unix中的一个命令“Global Regular Expression Print”,意为全局正则表达式打印。...例如: grep "hello" example.txt 这将在example.txt文件中查找包含字符串"hello"的所有行。 正则表达式匹配 grep支持使用正则表达式进行更复杂的匹配。...example.txt 逆向搜索 grep -v "pattern" file_name grep -v "pattern" file_name 总结 通过本文的学习,您现在应该已经了解了如何使用grep命令在文本文件中查找特定的字符串

    11200

    在vim和vi中查找和替换字符串

    在Vim中查找和替换文本非常容易。 基本查找和替换 在Vim中,可以使用:substitute(:s)命令来查找和替换文本。...例如,要在当前行中搜索字符串 foo的第一个匹配项,并将其替换为 bar,则可以使用: :s/foo/bar/ 要替换当前行中所有出现的搜索模式,请添加g标志: :s/foo/bar/g 如果要搜索并替换整个文件中的所有匹配的模式...此字符表示从文件的第一行到最后一行的范围: :%s/foo/bar/g 如果省略{string}部分,则将其视为空字符串,并删除匹配的模式。...当你在搜索模式中包含 /字符或替换字符串时,此选项很有用。....,+4s/foo/bar/g 替换整个单词 替代命令将模式查找为字符串,而不是整个单词。

    16.5K21

    在系统中查找重复文件(哈希)

    题目 给定一个目录信息列表,包括目录路径,以及该目录中的所有包含内容的文件,您需要找到文件系统中的所有重复文件组的路径。 一组重复的文件至少包括二个具有完全相同内容的文件。...输入列表中的单个目录信息字符串的格式如下: "root/d1/d2/......文件路径是具有下列格式的字符串: "directory_path/file_name.txt" 示例 1: 输入: ["root/a 1.txt(abcd) 2.txt(efgh)", "root/c...您可以假设目录名、文件名和文件内容只有字母和数字,并且文件内容的长度在 [1,50] 的范围内。 给定的文件数量在 [1,20000] 个范围内。...您可以假设在同一目录中没有任何文件或目录共享相同的名称。 您可以假设每个给定的目录信息代表一个唯一的目录。目录路径和文件信息用一个空格分隔。

    1.5K10

    如何使用LinkFinder在JavaScript文件中查找网络节点

    关于LinkFinder LinkFinder是一款功能强大的Python脚本,在该工具的帮助下,广大研究人员可以轻松在JavaScript文件中发现和扫描网络节点及其相关参数。...linkfinder -i http://example.com/1.js -o /linkfinder/output/output.html 确保使用/linkfinder/output作为你的输出路径...-d --domain 在分析整个域时使用,可以切换并枚举所有找到的JS文件 -b --burp 当Burp结果文件中包含多个JS文件时,可以切换使用 -c --cookies 向请求中添加Cookie...-h --help 显示工具帮助信息和退出 工具运行样例 在线上JavaScript文件中查找网络节点,并将结果输出到results.html文件中: python linkfinder.py...JavaScript文件,搜索以/api/开头的网络节点,并将结果存储到results.html文件中: python linkfinder.py -i 'Desktop/*.js' -r ^/api/

    44250

    获取类路径某个json文件中的内容字符串

    前言 实际项目中可能会有需要读取类路径下面的配置文件中的内容的需求,由于springboot项目打包的是jar包,通过文件读取获取流的方式开发的时候没有问题,但是上到linux服务器上就有问题了,对于这个问题记录一下处理的方式...类加载器的方式 通过类加载器读取文件流,类加载器可以读取jar包中的编译后的class文件,当然也是可以读取jar包中的文件流了 比如要读取resources目录下common/tianyanchasearch.json...这个文件 String resourcePath = "common/tianyanchasearch.json"; String content = FileUtil.getStringFromInputStream...(resourcePath); return GlobalResult.succeed(JSON.parseObject(content)); /** * 从输入流中获取文件内容字符串...推测主要原因是springboot内置tomcat,打包后是一个jar包,因此通过文件读取获取流的方式行不通,因为无法直接读取压缩包中的文件,读取只能通过流的方式读取

    2.6K30

    在Python中按路径读取数据文件的几种方式

    img 其中test_1是一个包,在util.py里面想导入同一个包里面的read.py中的read函数,那么代码可以写为: from .read import read def util():...img 先获取read.py文件的绝对路径,再拼接出数据文件的绝对路径: import os def read(): basepath = os.path.abspath(__file__)...如果数据文件内容是字符串,那么直接decode()以后就是正文内容了。 为什么pkgutil读取的数据文件是bytes型的内容而不直接是字符串类型?...这是因为并不是所有数据文件都是字符串,如果某些数据文件是二进制文件或者图片,那么以字符串方式打开就会导致报错。...此时如果要在teat_1包的read.py中读取data2.txt中的内容,那么只需要修改pkgutil.get_data的第一个参数为test_2和数据文件的名字即可,运行效果如下图所示: ?

    20.4K20

    使用字符串操作来获取图片路径中的文件名

    path.lastIndexOf('/') + 1); console.log(fileName); // 输出 "12.png" 代码使用了字符串操作来获取路径中的文件名...,并将结果存储在变量fileName中,然后通过console.log输出了结果。...const fileName = path.substring(path.lastIndexOf('/') + 1); 使用了字符串的substring和lastIndexOf方法来获取路径中的文件名。...让我们逐步解释: path.lastIndexOf('/'):lastIndexOf方法返回指定字符(斜杠/)在字符串中最后一次出现的索引。在这里,它返回最后一个斜杠/的索引位置。...根据你提供的代码和路径,fileName将被赋值为"12.png",并通过console.log输出。它提取了路径中最后一个斜杠后面的部分,即文件名。

    27120
    领券