linux uniq命令

uniq 是 Linux 中的一个命令行工具，用于检查和删除文本文件中的重复行。它通常与 sort 命令结合使用，因为 uniq 只能检测相邻的重复行。

基本用法

uniq [选项] 输入文件

常见选项

• -c 或 --count：显示每行在文件中出现的次数。
• -d 或 --repeated：仅显示重复出现的行。
• -u 或 --unique：仅显示不重复的行。
• -f 或 --skip-fields=N：跳过前 N 个字段后比较。
• -s 或 --skip-chars=N：跳过前 N 个字符后比较。

示例

1. 删除重复行

假设你有一个名为 file.txt 的文件，内容如下：

apple
banana
apple
orange
banana

运行以下命令可以删除重复行：

sort file.txt | uniq > output.txt

输出文件 output.txt 的内容将是：

apple
banana
orange

1. 显示重复行及其出现次数

使用 -c 选项：

sort file.txt | uniq -c

输出：

      2 apple
      2 banana
      1 orange

1. 仅显示重复的行

使用 -d 选项：

sort file.txt | uniq -d

输出：

apple
banana

1. 仅显示不重复的行

使用 -u 选项：

sort file.txt | uniq -u

输出：

orange

应用场景

• 数据清洗：在处理大量数据时，经常需要删除或标记重复项。
• 日志分析：检查日志文件中是否有重复的错误或事件。
• 报告生成：确保报告中没有重复的数据行。

注意事项

• uniq 只能检测相邻的重复行，因此通常需要先使用 sort 命令对文件进行排序。
• 如果文件很大，排序可能会花费一些时间。在这种情况下，可以考虑使用其他工具或方法，如 awk 或 perl 脚本，来更有效地处理数据。

总之，uniq 是一个简单而强大的工具，用于处理文本文件中的重复行。通过结合其他命令和选项，你可以轻松地完成各种数据清洗和分析任务。